ガートナーの予測: データレイクの90%は役に立たなくなる

ガートナーは以前、2018 年までにデータ レイクの 90% が生データで満たされ、そのテクノロジを使用する人がほとんどいないため役に立たなくなると予測していました。

現在のテクノロジーの世界では、人工知能 (AI) ほど好奇心と興奮を掻き立てるものはありません。 AI の潜在的な利点は、企業内でようやく現れ始めています。

しかし、データ サイエンティストが効果的な AI モデルを構築するために必要な関連データにアクセスできないことが多いため、企業における AI の成長は妨げられています。これらのデータ エキスパートは、必要なすべてのリアルタイム データを活用するのではなく、既存のデータ ウェアハウスなどのいくつかの既知のソースのみに頼らざるを得ないことがよくあります。さらに、多くの企業は、大量のデータのビジネスコンテキストと品質を効果的かつコスト効率よく判断することに苦労しています。こうした困難を考慮すると、AI の加速と導入を阻む歴史的な障壁のいくつかは容易に理解できます。

データが AI にとって価値がある場合にのみ、ユーザーは自信を持って安全にデータを使用して AI モデルをトレーニングできます。これを実現する唯一の方法は、「スマートデータ」に基づくことです。

長年にわたり、私たちはデータの収集と集約を超えて、特定のビジネス アプリケーションを推進してきました (データ 1.0)。組織は、誰もがデータにアクセスできる明確に定義されたプロセスを作成できるようになりましたが、それだけでは十分ではありません。現在では、企業全体の変革を真に推進するためにインテリジェントなデータが必要な段階に達しています (データ 3.0)。

たとえば、企業が顧客ベースとの従来の関係を再定義しようとするときに直面する課題を考えてみましょう。この破壊的な変化を乗り越えるには、データベース、データ ウェアハウス、アプリケーション、ビッグ データ システム、IoT、ソーシャル メディアなどの多数のデータ ソース、構造化、半構造化、非構造化などのさまざまなデータ タイプ、オンプレミス、クラウド、ハイブリッド、ビッグ データ要素などのさまざまな場所からの入力が必要です。

今日、データ レイクは、情報変革の時代に必要とされる大量の多様なデータを保存する究極のリポジトリになりつつあります。しかし、スマートデータがなければ、これらの湖はほとんど価値がありません。ガートナーは以前、2018 年までにデータ レイクの 90% が生データで満たされ、そのテクノロジを使用する人がほとんどいないため役に立たなくなると予測していました。

対照的に、スマート データを使用すると、データ サイエンティストは Google のような検索を実行し、関連するデータの潜在的なソースをすべて即座に発見できます。スマート データを使用すると、データ サイエンティストがモデルに必要なデータの収集、組み立て、調整に費やす貴重な時間を大幅に節約できます。

では、データが本当にインテリジェントであることをどうやって保証するのでしょうか? 広範なメタデータによって駆動される機械学習と AI 機能を使用するエンドツーエンドのデータ管理プラットフォームを構築し、プラットフォーム全体の生産性を向上させます。メタデータはデータの価値を引き出す鍵です。

AI 技術を実装するための包括的で関連性のある正確なデータを提供したい場合は、次の 4 つの異なるメタデータ カテゴリを確認する必要があります。

1. 技術メタデータ - データベース テーブルと列の情報、およびデータの品質に関する統計が含まれます。
2. ビジネス メタデータ - データのビジネス コンテキストと、それが関与するビジネス プロセスを定義します。
3. 運用メタデータ - ソフトウェア システムとプロセス実行に関する情報。
4. 使用状況メタデータ - アクセスしたデータセット、評価、コメントなど、ユーザーアクティビティに関する情報。

このメタデータのコレクションに AI と機械学習を適用すると、適切なデータを識別して推奨できるだけでなく、このデータは人間の介入なしに自動的に処理できるため、エンタープライズ AI プロジェクトに適しています。

デジタル変革により、組織はデータに対する見方を変える必要に迫られています。これは「獲物になるか、捕食者になるか」という問題です。現在、データとツールへのリアルタイム アクセスにより迅速な分析が可能になり、人工知能と機械学習が促進され、データ ファースト アプローチへの移行が可能になります。人工知能によってもたらされた情報技術革命は、デジタル化、データの爆発的増加、そして企業に対する人工知能の変革的影響により、急成長を遂げています。

明らかに、AI アプリケーションの決定に影響を与える可能性のあるデータ入力がますます増えているため、組織は関連性と影響力のあるコンテンツを選別する必要があります。ただし、組織がデータ管理に人間主導のアプローチを採用する前に、次の質問を検討してください。

AIから何を得たいと考えていますか?