AIのジレンマをどう解決するか？

今日の大手企業が AI におけるいくつかの大きな課題をどのように克服しているか。

概要:多くの企業はビジネスを変革し、競争上の優位性を構築しようとしており、AI テクノロジーに多額の投資を行っています。複数の業界の多国籍企業のデータサイエンスおよびエンジニアリングチームのリーダーを対象とした調査では、約 90% が AI に多額の投資を行っているものの、投資のメリットを十分に享受している企業はほとんどないことがわかりました。

AI プロジェクトのうち成功するのはわずか 3 分の 1 で、構想段階から実稼働段階までに 6 か月以上かかり、実稼働段階にまったく至らないプロジェクトも相当数あり、企業組織に AI のジレンマをもたらしています。

データは AI を可能にしますが、実装も困難にします。約 96% の企業が、AI プロジェクトが実稼働段階に入るときに最もよくある障害はデータ関連の課題であると述べています。エンタープライズデータは AI に対応しておらず、データウェアハウス、データレイク、データベース、ファイルシステムなど、数百のシステムに分散しています。 TensorFlow などの機械学習フレームワークはデータ処理を行いません。

データシステムは「AI を実行」せず、これらの AI テクノロジーは「データを処理」しないため、企業は平均 7 つの異なるツールを使用することになり、摩擦が生じてプロジェクトが妨げられます。さらに悪いことに、調査では、データサイエンスチームとエンジニアリングチームが独立した部門に配置されているため、80% の企業がデータコラボレーションの課題に直面していることがわかりました。

では、これらの企業が AI ジレンマを克服するために何が期待されているのでしょうか? 調査によると、回答者の 90% が統合分析によって AI ジレンマを解決できると考えています。このアプローチは、データ処理と機械学習フレームワークを統合し、機械学習ライフサイクル全体を通じてデータサイエンスチームとデータエンジニアリングチーム間のコラボレーションを促進します。統合分析は、データサイエンスとデータエンジニアリングを統合した新しいタイプのソリューションであり、企業の AI プロジェクトの実行を大幅に促進します。統合分析により、データエンジニアはサイロ化されたシステム間でデータパイプラインを構築し、モデリング用のラベル付きデータベースを準備することが容易になり、データサイエンティストはデータを探索および視覚化し、モデルの構築で共同作業できるようになります。

はじめに: CIO/IDG Research Services は、AI 技術の導入を検討中または使用している欧米の大手企業 (従業員 1,000 人以上) の IT 幹部 200 名以上を対象に調査を実施しました。私たちは、AI 投資の全容、期待されるビジネス成果、課題、AI の成功を推進する要因を理解したいと考えました。

AIのジレンマ：AIへの投資の約90％、成功例はほとんどない

複数の業界の回答者が、命を救う新薬の発見、詐欺や悪意のある活動の検出、グローバルサプライチェーン管理の改善、顧客向けの高度にパーソナライズされたデジタルエクスペリエンスの創出など、データと機械学習を活用した新しいビジネスモデルを構築するために、AI プロジェクトに多大なリソースを投資していることは明らかです。

課題にもかかわらず、回答者は AI に全力で取り組んでいます。したがって、回答者の 3 分の 2 が、今後 1 年間で AI への投資が増加すると予想しているのも不思議ではありません (下のグラフを参照)。

「AI は、世界中のほとんどの企業に影響を与える破壊的イノベーションを推進する可能性を秘めています」と、Databricks の製品マーケティング担当副社長である Bharath Gowda 氏は述べています。「AI はさまざまな業界で使用されています。ゲノミクスでは、新薬の発見を加速し、個別化医療を促進するために使用されています。また、製造業では、製品の開発と提供における運用効率を向上させるために使用されています。その可能性にもかかわらず、AI プロジェクトを成功裏に拡大している企業はほとんどありません。」

データ関連の課題により、96%の企業がAIの導入に成功していない

しかし、CIO/IDG の調査では、さまざまな理由から企業が AI のメリットをまだ十分に享受できていないことが明らかになっていますが、データは確実に話題になっています。プロジェクトを本番環境に移行する際には、ほぼすべての回答者 (96%) が複数のデータ関連の課題を挙げています (下の図を参照)。

データ関連の課題に関しては、データサイロが他の問題よりもはるかに頻繁に言及されており、技術的な複雑さが 2 番目に大きな課題となっています。

「データサイエンティストにとって、大量のデータで作成されたシンプルなモデルは、少ないデータで作成された複雑なモデルよりも優れた結果を生み出すことが証明されています。つまり、データが多いほどモデルは良くなります。データは AI の原動力です」と Gowda 氏は言います。「データサイエンティストがクリーンで信頼性の高いデータをすぐに利用できることが成功の鍵です。したがって、企業にとっての課題は、モデル開発のために、孤立した乱雑なデータをクリーンでラベル付けされたデータに変換することです。」

複雑化の進行: 企業は平均7つの異なる機械学習ツールを所有している

データエンジニアリングチームとデータサイエンスチームの違いは、使用するツールにも及び、その種類は数多くあります。

大多数 (87%) は、データの準備、データの探索、モデルの構築に役立つさまざまなデータおよび AI 関連テクノロジを取得しています。

回答者の 85% が、Apache Spark、Hadoop/MapReduce、Google BigQuery などのデータ処理ツールを使用しています。
回答者の 65% が Flume、Kafka、Onyx などのデータストリーミングツールを使用しています。
回答者の 80% が、Azure ML、Amazon ML、Spark MLlib などの機械学習ツールを使用しています。
回答者の 65% が、Google TensorFlow、Microsoft CNTK、Deeplearning4j (DL4J) などのディープラーニングツールを使用しています。

全体的に、調査結果によると、組織は平均 7 つの異なる機械学習およびディープラーニングツールとフレームワークを使用しており、複雑な環境が生まれ、効率が低下しています。

「AI から価値を引き出すために、組織は既存のデータと、大量のデータセットに機械学習を反復的に適用する能力に依存しています」と Godda 氏は述べています。「今日のデータエンジニアとデータサイエンティストは、このタスクを達成するために、多数の機械学習フレームワークを含む、無数のばらばらのツールを使用しています。」

サイロ化されたデータサイエンスおよびエンジニアリングチーム: 80% が結果として生産性の低下を経験

技術的なスキル、リーダーシップ、一貫した戦略の欠如は、データエンジニアリングチームとデータサイエンスチームが直面する 3 つの主な障害です (下の図を参照)。

統合分析 - 多くの企業はAIのジレンマを解決するために新しいクラスのソリューションを必要としています

回答者は、そのようなツールを歓迎するだろうと明言した。ほぼ 5 人に 4 人 (79%) が、ビッグデータと AI を統合し、データエンジニアリングチームとデータサイエンスチーム間のコラボレーションを促進するエンドツーエンドの分析プラットフォームが非常に貴重であると述べています。

このようなプラットフォームに必要なその他の機能は次のとおりです。