AI と ROI に関する真実: AI は本当に成果をもたらすことができるのか?

今日、企業組織はこれまで以上に人工知能 (AI) と機械学習 (ML) の可能性を信頼し、投資しています。

2022年のIBMグローバルAI採用指数によると、企業の35%が現在ビジネスでAIを使用していると報告しており、さらに42%の企業がAIの導入を検討中であると答えています。一方、マッキンゼーの調査によると、回答者の56%が2021年に少なくとも1つの機能でAIを導入したと回答しており、2020年の50%から増加している。

しかし、AI への投資は、企業の収益に直接影響を与える真の ROI をもたらすことができるのでしょうか?

5月にニューヨーク市で開催された Rev3 カンファレンスの出席者を対象に行われた Domino Data Lab の最近の REVElate 調査によると、回答者の多くがそう考えているようです。実際、ほぼ半数がデータサイエンスが2桁の成長を遂げると予想しています。回答者のほぼ5人に4人（79%）は、データサイエンス、機械学習、人工知能が自社の全体的な将来の成長にとって重要になると答え、36%がこれを最も重要な要素として挙げています。

もちろん、AIの実装は簡単ではありません。他の調査データは、企業の自信の別の側面を示しています。たとえば、AI エンジニアリング企業 CognitiveScale の最近の調査データによると、経営幹部はデータの品質と展開がデジタル変革を推進するアプリケーション開発の成功に不可欠な要素であることを認識しているものの、12 ～ 18 か月の期間内にそこに到達する方法がわからないと感じている人が 76% 以上いることがわかりました。さらに、経営幹部の 32% は、AI システムの実稼働開始までに予想よりも時間がかかったと述べています。

AIは責任を負わなければならない

Cognitive ScaleのCEO、ボブ・ピチャーノ氏はメディアに対し、AIからのROIは可能だが、ビジネス目標に基づいて正確に説明され、パーソナライズされる必要があると語った。

「ビジネス目標が、過去のデータを活用して長期的な予測を行い、予測精度を向上させることであれば、AI が役割を果たすことができます」と彼は言います。「しかし、ビジネス効率を高めるためには AI を責任を持って使用する必要があります。ML モデルの精度が 98% だけでは十分ではありません。」

逆に、ROI は、たとえば、コール センターの効率を向上させるために、AI を活用した機能によって平均通話処理時間が短縮されることなどです。

「その ROI は、経営幹部レベルで話題になっているものです」と彼は説明します。 「モデルが正確か、堅牢か、あるいはドリフトがあるかどうかについては話しません。」

Cognitive Scaleの共同創設者兼COOであるShay Sabhikhi氏は、回答者の76%がAIへの投資の拡大が難しいと回答したことに驚きはなかったと付け加えた。 「まさにそれが、我々が企業顧客から聞いている声だ」と彼は語った。問題の 1 つは、データ サイエンス チームと、自分たちが開発したモデルをどう扱えばよいかわからない他の組織との間の摩擦だと彼は説明しました。

「これらのモデルは最高のアルゴリズムと精度の再現性を備えているかもしれないが、基本的には開発チームに丸投げされ、その後、開発チームが慌ててアプリケーションを組み立てなければならないため、棚上げになっている」と彼は語った。

しかし、現時点では、AIはもはや一連の科学実験ではないため、組織はAIへの投資に責任を持たなければならないとピチャーノ氏は指摘した。 「私たちはこれを研究室から現実への移行と呼んでいます」と彼は語った。 「私は最高データおよび分析責任者の会議に出席していたのですが、彼らは皆、どうやって規模を拡大するのか、AIをどうやって産業化するのかを尋ねていました。」

ROI は AI にとって適切な指標でしょうか?

しかし、ROI が AI が組織に価値をもたらしているかどうかを測定する最良の方法であることに誰もが同意しているわけではありません。 EYのグローバル最高技術責任者であるニコラ・モリーニ・ビアンツィーノ氏は、AIとビジネスを「ユースケース」で評価し、その後ROIで評価するのはAIへのアプローチ方法として間違っていると述べた。

「私にとって、AI は、ユースケースを関連する ROI 分析から切り離すことなく、企業内のほぼどこにでも導入できる一連のテクノロジーです」と彼は述べています。

むしろ、組織はあらゆる場所で AI を使用する必要があるだけだと彼は説明した。 「クラウドとほとんど同じです。2、3年前には、顧客とよく『ROIはいくらですか？クラウドに移行するビジネスケースは何ですか？』と尋ねていました。パンデミック後の今、そのような会話はもう行われていません。誰もが『これをやらなければならない』と言っています。」

さらに、ビアンジーノ氏は、AI と ROI について議論する際には、「AI の使用」が何を意味するかによって異なると指摘しました。

「自動運転機能を適用しようとしているとしましょう。つまり、コンピューター ビジョンは AI の一分野です」と彼は言います。「これはビジネス ケースでしょうか。いいえ、AI なしでは自動運転は実現できません」。同じことは、大量のデータを取り込んで顧客にアドバイスを提供する EY のような企業にも当てはまります。これは AI なしでは実現できません。 「それはプロセスから切り離すことのできない、本質的なものだ」と彼は語った。

さらに、AI は定義上、初日から生産的でも効率的でもありません。データの取得、モデルのトレーニング、モデルの進化、モデルのスケーリングには、すべて時間がかかります。 「AI は、ある日突然、100% の価値が得られると言えるようなものではありません。AI は、時間の経過とともに向上していく継続的な機能なのです」と同氏は述べた。「生み出される価値という点では、本当の終点は存在しません。」

ある時点で、AIはビジネスを行うためのコストの一部になるだろうとビアンジーノ氏は言う。 「データ分析に関わる業界にいるなら、AI 機能を持たないわけにはいきません」と彼は説明した。 「これらのモデルのビジネスケースを切り離すことはできますか？ それは難しいですし、必要だとは思いません。 私にとっては、それはほとんどビジネスを運営するためのインフラストラクチャコストです。」

AIのROIは測定が難しい

最終的に企業が望んでいるのは、ROI のビジネスへの影響、つまりそれがどれだけの貢献をしているかを測定することだ、とエンタープライズ MLops プロバイダーである Domino Data Lab のデータ サイエンス戦略およびエバンジェリズムの責任者である Kjell Carlsson 氏は言います。しかし、1 つの問題は、これがモデルを開発するために行われた作業から完全に切り離される可能性があることです。

「クリックスルー率を 1 パーセントポイント向上させるモデルを作成すれば、ビジネスに数百万ドルの利益を追加できます」と彼は言います。「しかし、修理が必要な機械を事前に警告するのに役立つ優れた予知保全モデルを作成することもできます。」これらのケースでは、組織にとっての金銭的価値はまったく異なる可能性があります。「そのうちの 1 つはより困難な問題になる可能性があります」と彼は付け加えました。

全体として、組織は AI の生産を追跡するために「バランスト スコアカード」を必要とします。 「何も生産されていないのであれば、それはおそらく問題があることの兆候です」と彼は語った。 「一方で、生産に力を入れすぎると、それが問題の兆候となる可能性もあります。」

たとえば、データ サイエンス チームが展開するモデルが増えるほど、管理および保守する必要があるモデルも増えます。 「つまり、昨年は非常に多くのモデルを導入したため、実際には他の高価値モデルを購入する余裕がないのです」と彼は説明した。

しかし、AI の ROI を測定する際のもう 1 つの問題は、多くのデータ サイエンス プロジェクトでは、結果が実稼働環境で使用されるモデルにならないことです。 「昨年の取引について定量的な損益分析をしたいのであれば、おそらく厳密な統計調査を行う必要があるだろう」と彼は語った。 「しかし、生産に投入できる単一のモデルは存在せず、プロセスで得られる洞察を得るために AI を活用しているのです。」

データサイエンスの活動は追跡する必要がある

それでも、組織はデータ サイエンスの活動を追跡しなければ AI の影響を測定することはできません。 「現在、問題となっているのは、実際に収集され分析されるデータサイエンスの活動がほとんどないことです」とカールソン氏は言う。 「人々に尋ねると、モデルのパフォーマンスがどの程度か、プロジェクトがいくつあるか、データ サイエンティストが先週何回 CodeCommit を実行したかなど、実際にはよくわからないと言うでしょう。」

その理由の 1 つは、データ サイエンティストがまったく関連のないツールを使用する必要があることです。 「これが、組織内のデータ サイエンティストにとって唯一の真実の情報源であるリポジトリとして Git がますます人気を集めている理由の 1 つです」と彼は説明しました。 Domino Data Lab などの MLops ツールは、これらのさまざまなツールをサポートするプラットフォームを提供します。 「組織がこうしたより集中化されたプラットフォームをどの程度構築できるかが重要だ」と彼は語った。

人工知能の結果こそが人々が最も気にかけるものである

メリルリンチで約10年間、高頻度取引に携わってきたワラルーのCEO兼創業者、ヴィッド・ジェイン氏は、メリルリンチでの自身の役割は、機械学習を大規模に導入し、それをプラスのROIで行うことだったと語った。

本当の課題は、データ サイエンスの開発、データのクリーニング、トランザクション リポジトリ (現在はデータ レイクと呼ばれています) の構築ではありませんでした。同氏によると、これまでの最大の課題は、これらのモデルを採用し、運用化し、ビジネス価値を提供することだったという。

「ROIを達成するのは非常に困難です。AIプロジェクトの90％はROIを生み出さないか、投資に見合うだけのROIを生み出しません」と彼は言います。「しかし、それは誰もが念頭に置いていることです。答えは1つではありません。」

彼が説明する根本的な問題は、機械学習の操作は標準的なアプリケーションの操作とあまり変わらないと多くの人が信じていることだ。 AIは静的なものではないため、両者の間には大きな違いがあると彼は付け加えた。

「これはまるで農場の世話のようなものです。データはライブで、変化し、それで終わりではありません」と彼は語った。「推奨アルゴリズムを構築したら、人々の購買行動が時間的に固定されるわけではありません。人々の購買方法は変わります。突然、競合他社がプロモーションを実施します。消費者はあなたから購入しなくなり、競合他社に乗り換えます。常にメンテナンスをしなければなりません。」

最終的には、各組織が自社の文化を AI 実装の最終目標とどのように一致させるかを決定する必要があります。 「そして、人々にその変革を推進する権限を与え、既存の事業部門にとって重要な人々に AI から何らかの価値を得られると感じてもらう必要があります」と同氏は語った。

彼は、ほとんどの企業はまだ初期段階にあると付け加えた。 「ほとんどの企業はまだそこまで達していないと思いますが、過去 6 ～ 9 か月の間に、人々がビジネスの成果とビジネス価値を真剣に受け止め始めているという変化が確実に見られました。」

AIのROIは依然として不明瞭

しかし、多くの組織にとって、AI の ROI を測定することは依然として難しい問題です。 「企業によっては、モデルを生産段階に投入することすらできない、あるいは、投入できても手探りで進めている、あるいは、成功しているが規模を拡大したいと考えているといった基本的な問題を抱えている」とジェインは語った。 「しかし、ROIの観点では、機械学習に関連する損益がないことがよくあります。」

彼は、AI イニシアチブは多くの場合、センター オブ エクセレンスの一部であり、ROI は事業部門が所有するが、他の場合には測定が難しい場合があると説明しました。

「問題は、AI はビジネスの一部なのか、それともユーティリティなのかということです。デジタルネイティブであれば、AI はビジネスを動かす原動力の一部となるかもしれません」と彼は語った。 「しかし、レガシービジネスを抱える、あるいは変革中のビジネスを抱える大規模な組織では、ROIをどのように測定するかは、対処しなければならない基本的な問題です。」