ビッグデータと人工知能の応用に関する7つのよくある誤解

大規模で高速かつ変化する情報資産を処理するためにビッグデータ テクノロジーを採用する組織が増えるにつれ、情報資産から効果的に洞察とビジネス価値を得る方法という問題に直面する組織が増えています。

Talendのシニアプロダクトディレクター、ジャン=ミシェル・フランコ氏は、「ビッグデータ技術は当然ながら高度な分析手段をもたらすことができます。しかし、組織がビジネスを改善できるトピックに関する大量の情報を取得できるようになると、物事の表面を理解するだけでなく、物事の本質を発見し、根本原因を見つけ出し、何が起こるかを予測し、問題を正確に解決する必要があります。そして、機械の助けなしに人間が単独でそれを行うのは困難です」と述べています。人工知能技術は、すべての情報を理解する方法となり、実際に実装するには大量のデータを必要とする分野になりました。

[[323159]]

したがって、ビッグデータと人工知能技術が常に組み合わされるのは当然のことです。 「ビッグデータとAIの間には強い関係がある」と、ビジネス変革とアウトソーシングのコンサルティング会社、PaceHarmonのディレクター、JP Baritugo氏は語る。「ビッグデータは原動力であり、AIは手段だ。」

しかし、その過程で、AI とビッグデータがどのように連携するかについていくつかの誤解が生じ、IT リーダーがデータ主導の戦略を採用する際に明確にすべき潜在的な混乱が生じています。

1. 一部のAIではビッグデータを必要としない

たとえば、一部のチャットボットは、AI テクノロジーよりもさらに小さな入力データセットから学習する場合があります。

「『ゴミを入れればゴミが出る』というデータ分析哲学は、組織が AI の取り組みから意味のある価値を引き出すには十分な良質なデータが必要であるという点に当てはまります」とバリトゥゴ氏は言います。「ただし、必要なデータの量はさまざまです。」

エベレスト・グループのエグゼクティブ・バイスプレジデント兼シニアアナリストのサラ・バーネット氏は次のように説明した。「ビッグデータとは、構造化データと非構造化データで構成される大規模なデータセットのことで、人工知能のトレーニング、パターンを見つけるための情報分析、確率を使用して質問の答えを出すために大量のデータが必要な場合など、人工知能の一部のアプリケーションにデータを提供することができますが、すべての人工知能に大量のデータが必要なわけではありません。」

「設計上、AI では通常、パターンを意味のある形で認識し、必要な出力を生成するために、大規模で正規化されたデータセット (つまり、ビッグ データの「クリーンな」サブセット) が必要です」とバリトゥゴ氏は言います。「必要なデータ量 (トレーニング データセットと評価データセットの両方) は、主に問題の複雑さ、評価が必要な入力機能の数、および使用されているアルゴリズムによって決まります。」

たとえば、機械学習 (ML) では通常、ディープラーニング (機械学習の別のサブセット) よりもトレーニングに必要なデータが少なくなります。

2. すべてのビッグデータにAIアプリケーションが必要なわけではない

AI はデータ分析を促進するのに役立ちますが、ビッグデータから価値を引き出すために必ずしも必要ではありません。 「高度な分析は、ほとんどの組織が何年も活用してきた概念です」と、ISG の認知自動化およびイノベーション担当ディレクターのウェイン・バターフィールド氏は語ります。「それは、データ セットのサイズと、分析が必要なさまざまなデータ セットの数によって大きく異なります。最も優秀な人材でも、限られた時間内に大規模なデータ セットから洞察に富んだパターンを見つけることは不可能です。そのため、機械学習は重労働を行う上である程度有利ですが、すべてのデータ セットが大きく多様であるわけではないため、それらから洞察を得るために必ずしも機械学習 (ML) を使用する必要はありません。」

IT 組織は、ビジネス インテリジェンス、分析、データ ウェアハウス ソリューションを使用してデータを分析し、洞察を視覚化することもできます。

3. 高度な分析とAIは同じではない

多くの場合、人々は「ビッグデータ」という用語を、こうした情報資産の高度な分析をより広義に表現するために使用しますが、それ自体に何ら問題はありません。しかし、高度な分析と人工知能も互換性のある用語であると考えている人もいるかもしれませんが、これは誤りです。

「AIと高度な分析は密接に関係していますが、いくつか重要な違いがあります」とバーネット氏は言います。「たとえば、AIはさまざまな仮説を試し、自ら学習し、分析を強化できます。AIテクノロジーはデータを分析できますが、自ら学習することはできず、パラメータの設定は人間に依存しています。」

4. ビッグデータはAIモデルを歪める可能性がある

「ビッグデータは人工知能と機械学習の基礎となります。データが増えれば増えるほど、モデルは良くなります。しかし、データが管理されていない場合、人工知能と機械学習に偏りが生じる可能性もあります」とフランコ氏は語った。

データの品質よりも量に過度に焦点を当てることが原因となることがよくあります。 「AI と機械学習は、基礎となるデータを人間が制御できない場合、必然的に失敗します」とフランコ氏は言います。「大量のデータをデータ レイクに収集しても、AI と機械学習が成功するための適切な基盤にはなりません。」

5. 組織は知らないうちにすでにAIとビッグデータを組み合わせている可能性がある

「一部のソフトウェア ソリューションにはすでに AI 機能が組み込まれており、インストール、トレーニング、使用の準備が整っています」とバーネット氏はインテリジェント ドキュメント処理 (IDP) ソフトウェアについて述べています。「これらのソリューションは AI の導入を加速し、組織が特定のビジネス ニーズに対応するのに役立ちます。これらの場合、メリットを享受するために必ずしも AI テクノロジーを理解する必要はありません。」

6. 人類はビッグデータと人工知能を組み合わせる必要性を証明した

ビッグデータと人工知能に関しては、信頼と透明性が重要です。 「組織が AI を使って適切な洞察を得るには、強固なデータ基盤が必要です」とフランコ氏は言います。「そして、従業員はデータ ガバナンス プロセスに関与して、データ (データの品質、代表性、データのプライバシー) とアルゴリズム (説明可能な AI を使用してアルゴリズムの動作を理解する) の両方を制御する必要があります。」

7. すべてのデータがAIに役立つわけではない

「AIと組み合わせると、大量のデータを持つことと、洞察を提供するための適切なデータを持つことの間で微妙なバランスが保たれることが多い」とバターフィールド氏は言う。「少なくとも現時点では、AIはすべての問題に対する万能薬ではない。ビジネスリーダーはそれを認識する必要がある」