AIプロジェクトが失敗する6つの理由

データの問題は、企業の AI プロジェクトが意図した目標を達成できない主な理由です。しかし、企業が失敗から学び、長期的に努力を続けるなら、AI への取り組みは報われるでしょう。

[[273731]]

18 か月前、Cooper は顧客サービス エージェントが顧客の問題に対するソリューションを提供できるように、インテリジェントな推奨システムを導入しました。同社は、旧ネーションスター社として380万人の顧客を抱える米国最大の非銀行系住宅ローン提供会社であり、このプロジェクトは同社にとって注目すべきコスト削減プロジェクトとみられている。同社最高情報責任者のスリダール・シャルマ氏は、エージェントがそれを使用していないことに気づくまでに9カ月、その理由を解明するのにさらに6カ月かかったと語った。

シャルマ氏は、インテリジェントな推奨システムによって提供された推奨が顧客にとって関連性がなかったが、問題は機械学習アルゴリズムにあったわけではないことを発見しました。代わりに、同社は顧客自身の言語で質問を説明するのではなく、顧客からの質問に基づいて技術用語でトレーニング データを説明することに頼っていました。

「顧客からの質問の根本的な原因は、顧客が使用した用語が、社内で使用している技術用語で書かれていたために採用されなかったことにあるということを、私たちは十分に確認できていませんでした」と彼は語った。

さらに、シャルマ氏は、インテリジェント推奨システム（エージェントが通話結果を記録するシステム）のフィードバック メカニズムに重複したカテゴリがあったことで問題が悪化したと述べました。同氏は、このプロジェクトに会社がどれだけの費用をかけたかについては言及を避けた。

クーパー氏のAIに関する苦悩は異常なことではない。調査会社IDCの最近の調査によると、AIプロジェクトの成功率が90%であると答えた回答者はわずか30%程度で、失敗率は10%から49%の間であると答えた回答者が多く、AIプロジェクトの半分以上が失敗したと答えた回答者は3%でした。

回答者の4分の1以上が、スタッフ不足とAI技術に対する非現実的な期待を主な課題として挙げました。さらに 23% が、必要なデータが不足していたために AI プロジェクトが失敗したと回答しました。

「失敗の最初の兆候は、一部の人々がプロジェクトから撤退したいということだ」とシャルマ氏は語った。「もしそうなら、失敗する運命にある」

クーパーは、顧客関係管理（CRM）システムの刷新の一環として、来年、顧客サービスプロジェクトに復帰する予定であり、人工知能技術の開発にも引き続き取り組む予定である。非構造化データの分析を含む同社の最新の機械学習プロジェクトは、すでにビジネスにプラスの効果をもたらしており、将来に向けたより優れた言語トレーニングデータの作成に役立っています。

同氏はさらに、「こうした対策は安くはなく、物事がうまくいかなかった場合にはCEOやCFOの同意が必要になる」と付け加えた。

データ不足

AI プロジェクトが期待に応えられない主な理由はデータの問題です。マッキンゼーが昨年秋に発表した調査レポートによると、人工知能技術の応用を制限する2つの大きな課題はデータに関連している。

まず、クーパー氏と同様に、多くの企業は機械学習アルゴリズムをトレーニングするために適切にラベル付けされたデータを入手するのに苦労しています。データが正しく分類されていない場合、スタッフはタグ付けにかなりの時間を費やす必要があり、プロジェクトが遅れたり失敗したりする可能性があります。 2 番目のデータの問題は、プロジェクトに適切なデータがないことです。

「組織は適切なデータを持っていないことが多く、ラベル付けされていないデータを使用してモデルを構築できないことに苛立ちを感じています」と、PwCのパートナー兼グローバルAIリーダーであるアナンド・ラオ氏は語る。「企業がAIプロジェクトの実装で常に失敗するのはこのためです。」

全米オーデュボン協会は野鳥の保護に人工知能を活用している。例えば、7月に同研究グループは、気候変動が38種の草原の鳥類にどのような影響を与えているかをAIで分析した結果を発表した。

「気候変動の速度を遅らせる対策を取らなければ、草原に生息する鳥の42％が絶滅の危機に瀕する可能性がある」とオーデュボン協会の保護科学担当副会長チャド・ウィルジー氏は言う。「しかし、対策を取れば、その割合をわずか8％にまで減らすことができる」

オーデュボン協会の AI プロジェクトがすべて成功したわけではない。昨年の夏、同グループは機械学習を利用して海岸のカッショクペリカンやミズナギドリの数を数えようとした。このパイロットプロジェクトは、テキサス州沖の島でドローンを使って調査を実施したボランティアのチームが収集した画像に基づいています。

「私たちは、通過するハリケーンが鳥の個体数にどのような影響を与えるかを理解したいのです」とウィルジー氏は語った。

たとえば、入手可能な鳥の画像のほとんどは、ドローンから直接撮影されたものではなく、地上の作業員によって撮影されたものです。ウィルジー氏は、これは試験的な研究だったため、オーデュボン協会にはこれ以上写真を撮る資金がなかったと語った。

トレーニングデータのバイアス

データ不足によって妨げられた AI プロジェクトのもう 1 つの例は、写真に写った人物の髪の毛を認識するモデルを作成しようとした Fritz Lab の試みです。 Fritz Lab は、モバイル開発者が、データを中央サーバーに送り返して処理することなく、携帯電話上で直接実行できる AI モデルを構築できるよう支援します。

「ライブビデオで髪の毛を検出し、リアルタイムで色を変更できる機能を構築したかったのです」と同社の最高技術責任者ジェイムソン・トゥール氏は語った。

同氏は、最初はすべて順調に見えたが、アルゴリズムに大きな欠陥があり、システムが公開されていたら非常に問題になっていただろうと述べた。

「ありがたいことに、私たちはオフィス内や採用した人々の間で多くの手動テストを行い、特定の人種グループではこの方法がうまく機能していないことに気づいたので、データセットを再スクリーニングして、データセット内にそれらの人種グループに属する人がいないことを確認しました」とトゥール氏は語った。

彼によると、トレーニングに利用できる画像データセットは、無料と商用の両方で多数あるという。しかし、企業は必要な特定の種類のデータが十分にあるかどうかを確認する必要があります。

「組織はまず、自社のユーザーベースを代表する独自のテストケースを構築するために時間と労力を費やすべきだ」と彼は語った。

フリッツ研究所は最終的に、失われた画像を収集し、スタッフによる処理を通じて注釈を付けました。 「利用可能なデータが限られている場合、このようなシステムに偏見を持ち込むことは難しくないという事実を浮き彫りにしている」とトゥーレ氏は語った。

PwC の最近の調査によると、半数以上の企業が AI バイアスを評価するための正式なプロセスを導入していないことがわかりました。さらに悪いことに、AI ソリューションを導入する前にその倫理的影響を優先すると答えた回答者はわずか 25% でした。

データ統合の問題

場合によっては、問題はデータの不足ではなく、データの多さにあることがあります。 PwCの小売部門の人工知能とデータ担当マネージングディレクターによると、まさにそれが大手グローバル銀行が直面している状況だという。

同氏は、もし銀行が過去に戻ることができれば、もっと早くに異なるデータチャネルの統合を開始していただろうと語った。 「私たちはそれをやらなかった。それが大きな間違いだった」と彼は言う。「私たちはデータを収集したが、その結果、顧客を360度完全に把握できなかったのだ。」

同氏は、データ統合の問題により銀行が効果的なマーケティングメッセージを作成する能力が損なわれ、収益の損失につながったため、銀行は現在、オンライン、モバイル、対面でのやり取りを含む顧客データのマルチチャネルビューに移行していると付け加えた。

「まだそこまでには至っていません」と彼は言う。「サイロ化されたデータは、私たちがこれまでも、そして今も抱えている最大の課題の 1 つです。この課題はテクノロジーの問題ではなく、ビジネス上の問題です。最初の問題はコンプライアンスです。特定の種類のデータを混在させることは許可されていません。」

「もう一つの問題は、企業の優先事項に関するものです。他にも多くのプロジェクトが進行中です。データを混ぜ合わせる費用を誰が支払うのでしょうか。銀行自体にとって付加価値のあるビジネスではありません」と彼は語った。これはすべての銀行が直面しなければならない課題だと彼は語った。

「このプロジェクトをもう一度行うとしたら、銀行が AI ユースケースに取り組み始めたときにデータ統合プロセスを開始するでしょう」と彼は言いました。「データソースが多すぎて、完全に完了したことがないため、その段階に到達することは決してないと思います。」

同氏は、銀行は今後18～24カ月以内に主要なデータソースを接続する予定だと述べた。現在、銀行の保有率は10～15％程度にとどまっているという。

データドリフト

AI プロジェクトが直面しているもう 1 つの問題は、企業がトレーニングにライブ トランザクション データではなく履歴データに依存していることです。アクセンチュアのマネージングディレクター、アンドレアス・ブラウン氏は、多くの場合、単一の静的な履歴スナップショットでトレーニングされたシステムは、リアルタイムデータに変換するとパフォーマンスが低下すると述べています。

「一部のデータをオフロードし、一部のモデルをトレーニングして、研究室でかなり良いモデル改善が得られるが、それを組織に戻すとすぐに問題が発生し始める」と、アクセンチュアの欧州データおよびAI業務を率いるブラウン氏は述べた。

モデルは動作の小さな変化を認識するようにトレーニングされていないため、履歴データ サンプルと、たとえば詐欺を検出したり、マネー ロンダリングをリアルタイムで特定したりするためにライブ システムを介して送信されるデータとの間には大きな違いが生じる可能性があります。

「ユーザーが特定の時点、たとえば夜間、土曜日、日曜日にデータをコピーすると、データがフリーズします」と彼は言います。「これにより、ラボでの分析が非常に簡単になります。しかし、機械学習モデルがライブ システムに再び組み込まれると、状況はさらに悪化します。」

ブラウン氏によると、解決策は、データ サイエンティストを生産技術側とは別のサイロに配置することだ。特に、リアルタイム データを使用してモデルを構築すると、モデルを本番環境に統合する時間がはるかに短くなります。

「そして成功率もはるかに高い。これは完全に画期的なことだ」と彼は語った。

未処理、非構造化データ

コンサルティング会社デロイトの最近の調査によると、企業の 62% が依然として非構造化データの処理にスプレッドシートに依存しており、製品の画像、顧客の音声ファイル、ソーシャル メディアのコメントなどの非構造化データを分析に使用している企業はわずか 18% です。

さらに、同社が収集する膨大な量の履歴データには、AIに役立つコンテキストが欠けていたり、要約形式で保存されていたりすると、デロイトの小売・消費財戦略および分析業務のリーダーであるベン・スティラー氏は述べた。

「データの制限により、最初から失敗につながる可能性は確実にあります」と彼は語った。

スティラー氏は、「しかし、調査によると、クーパーのような非構造化データを活用している企業は、ビジネス目標を上回る可能性が 24% 高くなります。これは、企業がデータについて考える方法を根本的に変える必要があることを意味しています」と述べています。

たとえば、Cooper Corporation には、約 15 億件の顧客ドキュメントという形で大量の非構造化データが存在します。その結果、カスタマー サービス エージェントは、顧客をサポートするために必要なドキュメントを探すのに多くの時間を費やし、場合によっては再訪問のために顧客と連絡を取らなければならないこともあります。

そこで同社は機械学習を使って15億の文書すべてをスキャンし、最もよく使われる200のファイルに含まれる最初の1億5000万件を注意深く分析した。

「現在、当社は価値を生み出し、実装中の機械学習プロジェクトを抱えています」とクーパーのシャルマ氏は語った。

企業が以前は問題があった AI カスタマー サービス プロジェクトに戻ると、カスタマー サービス コールのスピードアップに加え、ドキュメント分析によって将来使用するためのより優れた言語辞書を作成できます。

文化的な課題

データに加えて、組織上の問題も AI の成功にとって大きな課題となります。

シャルマ氏は、もし過去に戻れるなら、まずは顧客が問題を詳細に解決する際に使用する言語に焦点を当て、その分野の専門家と AI 開発者が協力するだろうと語った。

「顧客が当社の技術チームと協力することが常に最も重要です」とシャルマ氏は語った。「顧客が協力し合い、それをフルタイムの仕事にする必要があります。」

企業がこれらの失敗から学ばなければ、AI プロジェクトの失敗により投資チームが資金提供を思いとどまり、従業員と顧客の満足度に悪影響を与える可能性があるため、AI の約束を実現できる可能性は低くなる可能性があります。

スティラー氏は、「AI関連のプロジェクトが早期に失敗すると、経営陣がこの分野への大規模な投資を断念する可能性がある。これにより、企業は競合他社に遅れをとる可能性がある」と述べた。

すべては経営レベルから始まります。デロイトの調査が示すように、AI プロジェクトに対するトップレベルのサポートは非​​常に重要です。スティラー氏は、「CEOが協力的であれば、ビジネス目標の達成率は77％を超える可能性が高い」と語った。

したがって、AI に対する組織の取り組みを挫折で損なわせてはいけません。AI に対する長期的なアプローチは必ず成果をもたらします。「時間をかけてより多くのプロジェクトを実施すれば、ROI も高くなります」と同氏は言います。