新たなAIの冬に対する最後の防衛線

新たなAIの冬が来るのではないかと心配している人は多い。 ML ソリューションは不足していませんが、実際に企業に導入されているのは 10 件中 1 件程度にすぎません。そのためには、5つの戦術を通じて導入コストを大幅に削減する必要があります。さらに、この記事が、企業の ML 幹部、マネージャー、実務者が深く考え、迅速に行動を起こすのに役立つことを願っています。これは「AI の冬」に対する私たちの盾となるでしょう。

1. 物語

カナダの銀行のシニアマネージャーであるミシェルは、私の前回の記事で「データサイエンスは退屈だ」ということを知り、前向きな ML アジェンダを提案し、私と活発な議論を交わしました。

ミシェルは銀行の ML 概念実証 (PoC) ポートフォリオを監督しています。それぞれの概念実証プロジェクトでは、特定の ML テクノロジーが 4 ～ 6 か月のサイクルでビジネスに価値をもたらすことができるかどうかを判断する必要があります。彼女はその目標をさらに一歩進め、概念実証をさらに完了するだけでなく、実際にさらに多くの ML プロジェクトを展開したいと考えています。ちなみに、現在の配備率はわずか13％程度。

これにより、2 つの重要な疑問が生じます。なぜ ML ソリューションをもっと導入しないのでしょうか?新たな AI の冬が来るのか?

簡単に答えると、はい、ML ソリューションの導入率を上げていないのであれば、AI の冬がまたやってくることになります。あなたとあなたのデータ サイエンス チームは、この寒波に対する最後の防衛線となります。どうやって戦うのか？勢いを継続するために 5 つの主要な課題に取り組みます。そうでなければ、あなたとあなたのチームは「21 世紀で最もセクシーな仕事」（私が言ったのではないが、インターネット上で広まっている）を逃すことになります。

2. 全体像: AIへの注目と供給

2012年以降、非常に好条件の「AI春」の波が到来し、あらゆるところに知能の春風が吹いていると言えるでしょう。技術革新、ディープラーニングの段階的な商用化、コンピューティングリソースのコストの継続的な削減、そしてGoogleやNVIDIAなどの巨大メーカーの推進により、AIに対する人々の注目が高まっています。

しかし、1960 年代以降、ほぼ 10 年ごとに AI の春の波が押し寄せてきたものの、その後には厳しい AI の冬が必ず訪れており、その冬は次のような形で現れていることを認めなければなりません。1) 懐疑論が主流になる、2) 資金が大幅に削減される。

懐疑論が再び広まっているのでしょうか?そうらしいです（少なくとも手がかりはあります）。現在、市場ではさまざまな意見が出ていますが、それは Google 検索のトレンドを通じてまとめることができます。簡単に言えば、現在の傾向は、注目度は依然として高いものの、横ばいになりつつあるようです。

2019年10月18日のGoogleトレンドチャート

資金は大幅に削減されましたか?

まだ。現在の資本の流れは、主にベンチャーキャピタルとコーポレートキャピタルの2種類に分けられます。 KPMGが発表したレポートによると、2018年第1四半期の投資資金と2019年第1四半期の投資資金や過去の取引を比較すると、ベンチャーキャピタル市場全体が冷え込んでいることがわかります。しかし、VC 資金の絶対額は依然として大きく、AI は引き続き最もホットな分野の 1 つです (VC がより良い機会を見つけるまでは)。供給の観点から見ると、AI のスタートアップ企業と人材は今後も成長を続けると思われます。

2019年10月28日から集計されたデータ

一方、AI の実際の需要と将来の運命を定義するのは企業です。その理由は、1) 企業は AI スタートアップのターゲット顧客であり、2) 企業は最も多くの ML 技術人材を雇用しているからです。 残念ながら、企業が社内 AI プロジェクトに投資する金額はほとんど公表されていません。

したがって、次の基本原則から推測することしかできません。企業は、この新興技術によって約束された価値を（口先だけではなく）真に実現するために、AI ソリューションを導入するプロセスに着手しているでしょうか。答えが「はい」であれば、必要な資本投資は確実に維持または増加するでしょう。

3. ミクロ図：AIの需要

近年、企業が AI 機能をどのように活用し、導入してきたかを詳しく見てみましょう。

1) N = 北米、ヨーロッパ、アジアの 114,000 の組織。2) 国際分析機関。3) Forbes、2019 年

注: a) この調査は全体的な状況を表すものではありません。確かに、プロジェクトの 10% 以上を AI に導入している企業もあります。25% から 40% を導入している企業も見たことがありますが、一般的に規模は小さいです。 b) 10% の導入率が高いかどうかは不明です。公開データが限られているため、ML と非 ML の PoC の導入率を比較したり、導入率が 10% であれば PoC の総コストを相殺するのに十分な投資収益率が得られるかどうかを比較したりすることはできませんが、一般的な意見としては「もっと改善できる」ということです。c) 調査はさまざまな企業を対象としていますが、主に北米の大規模な組織です。

私が言いたいのは、企業がより多くの ML ソリューションを導入しなければ、AI テクノロジーに対する社内の需要が減少し、ML の才能ある人材が忍耐力を失い退職し、ベンチャー キャピタリストが他のより有望なプロジェクトに資金をシフトし、経営陣が自信を失い AI プロジェクトへの資金予算を削減することになる、ということです。結局、歴史は繰り返されるでしょう。新たな AI の冬がやって来るのです。背筋が凍ります。

4. AIの冬の簡単な歴史と現在の中核問題

AIの冬には多くの理由があり、政治、技術、社会などさまざまなレベルから来ている可能性があります。リビー・キンジーはかつて、現在の状況を分析した記事を書きました。幸いなことに、データ（より高品質のトレーニング データを提供するには、より強力なサービスとツールが必要）、処理能力、ビジネスの準備、全体的なデジタル化など、過去の制限要因の多くは大幅に改善されています。悪いニュースは、私たちがまだ避けることのできない大きな障害に直面しているということです（古い問題はまだいくつか残っていますが、比較的緩和されています）。

調査対象となった企業全体で、最も重要な問題は AI 導入の経済性です。他のテクノロジーの導入と同様に、これは AI 業界全体が克服しなければならない重要な課題です。そして、これらの経済的要因は、遅かれ早かれ行動を起こさなければ解決できません。

私の良き友人であるジョーン・ディディオンは、「人生は一瞬で、一瞬で変わる」と書いています。物事がどのようになるか予測することはできません。ですから、AI の冬が本当に来るかどうかに関わらず、私たちは警戒し、積極的に、そして準備を整えていなければなりません。

それでは、今日企業で導入されている ML 概念実証プロジェクトがわずか 10 分の 1 程度に過ぎない理由と、それに対して何ができるのかを詳しく見てみましょう。

5. 具体的な内容と戦術についてお話ししましょう

つまり、ML ソリューションを導入するにはコストがかかりすぎるのです。デプロイメント作業は、次の 5 つのサブ問題に分解できます。これらのコア問題を理解したら、1 つずつ解決できます。

1) プロセス:概念実証から展開までの道筋が明確ではありません。ほとんどの企業は、組織内で概念実証のアイデアを設定し、優先順位を付けて、有望なアイデアの一部に資金を提供します。パイロットプロジェクトのトレーニングが完了したら、全員でシャンパンを数本開けて祝い、それで終わりです。多くのチームは、資金をどこに申請するか、概念実証を本番環境レベルのソリューションに拡張するために誰と協力するかなど、次に何をすべきかが明確ではありません。実際、これはそれ自体が問題です。詳細についてはポイント 3 を参照してください。

中心的な質問: 概念実証から実稼働システムに移行するにはどうすればよいでしょうか?

解決策: 事前展開用に特別な資金を確保します。予算資金を割り当てるための明確な導入基準を設定します (例: 新しいモデルは古いモデルよりも少なくとも 2% 正確である必要があります)。さらに、その後の資金を注入するための明確なプロセスを設定します。次に、早い段階で IT および運用の専門家と相談しながら、統合プロセスを開発します。最終的に概念実証プロジェクトを展開する場合は、リソース割り当て計画も必要です。

2) インセンティブ: PoC プロジェクトには不適切な KPI があります。 ML 概念実証プロジェクトは、多くの場合、企業内のより大規模なイノベーション イニシアチブの一部となります。しかし、ほとんどの企業は、ML プロジェクトにおける全体的なイノベーションの基本目標を継承する傾向があり、実際の展開ではなく学習に重点を置きます。これは間違った動機と期待を設定することに相当します。その結果、データ サイエンス チームは、イノベーションとエンジニアリングの実現可能性のバランスを取らずに、最先端の技術を試すことに重点を置くことが多くなります。言い換えれば、実際の統合可能な結果ではなく、実証可能な解決策に行き着くことになります。彼らは、テクノロジーをコアビジネス システムに組み込む方法ではなく、テクノロジー自体に関する知識を共有します。インセンティブは行動を促し、行動が結果を決定します。このことを覚えておくことが重要です。

中心的な質問: チームがより展開可能なソリューションを構築できるようにするにはどうすればよいでしょうか?必要な能力を備えたチームをどのように育成できるでしょうか?

解決策: KPI の焦点を「学習」から「展開可能なイノベーションの成果」に移します。イノベーションと展開可能性のバランスをとるよう努めます。また、健全なエンジニアリング設計を重視します (実現可能にし、価値を証明する前に過剰なエンジニアリングを行わないでください)。最後に、デモンストレーション用の展開可​​能なアプリケーション、統合計画、学習内容、長所と短所、潜在的なリスクに関するビジネス ケースを含む成果物を標準化します。

3) チーム:多くの PoC チームには適切なスキルセットがありません。多くのデータ サイエンス チームはモデルの構築のみを追求しており、エンジニアリングや運用の作業を引き継ぐことを望んでいません。 2 番目のポイントで述べたように、この点ではインセンティブと全体的な期待が決定的な役割を果たします。適切なエンジニアリング手法が導入されていなければ、チームはデプロイを試みる際に障害に直面することになります。次のようなシナリオが考えられます。優れた概念実証を構築するために 4 か月を費やした後、経営陣は感銘を受けます。しかし、実際に導入してみると、プロジェクトを実際に実装するまでに、再設計、適切なチームの構築、エンジニアリングのデューデリジェンスの実施に少なくともあと 1 年半はかかることが突然わかりました。これは間違いなく、投資収益率に重大な影響を与えるでしょう。

中心的な質問: チームが展開可能なソリューションを構築できるようにするにはどうすればよいでしょうか?必要な能力を備えたチームをどのように育成できるでしょうか?

解決策: エンジニアリングに対する深い経験と情熱を持つデータ サイエンティストを雇用します。適切な候補者がいない場合や給与要件が高すぎる場合は、社内のエンジニアリング チームと運用チームから専門家を招き、ハイブリッド チームを編成することを検討してください。すべてが失敗した場合は…LinkedIn で運を試してみましょう。

4) テクノロジー:既存のインフラストラクチャは ML プロジェクトをサポートするには不十分です。開発環境と本番環境の間には、データとツールに大きな違いがあります。その結果、ソリューションを開発から本番環境に移行する際には、一連の追加のリファクタリングとテストが必要になることがよくあります。データの観点から見ると、ほとんどの運用データは開発モデルでは使用できません。実稼働データを使用する場合、機械学習モデルのパフォーマンスは大きく異なる可能性があります。ツールの観点から見ると、開発モデルにはイノベーションを目的とした多くの新しいツールが含まれていますが、実稼働環境では、安定性と拡張性に優れた古いツールの使用が好まれることは間違いありません (これは悪いことではありません)。

中心的な質問: イノベーションと安定した運用の両方を実現できる最適なテクノロジー スタックを選択するにはどうすればよいでしょうか?どのように統合して簡素化するのでしょうか?

解決策: クリーンアップされ、運用環境と密接に連携されたデータをホストするためのサンドボックス環境を作成します。チームが ML ワークフローで適切なツールを選択できるように、一連の実装ガイドラインを設定します (例: Python Pandas が本番環境でサポートされていない場合は、開発時にデータ パイプラインを実装するには常に古き良き SQL を使用します。異なる主要コンポーネント間で言語を切り替えるのは面倒なので、注意してください)。さらに、一部のインフラストラクチャ チームやセキュリティ チームが反対する場合でも、高レベルのアプリケーション スタックを柔軟に展開するためにチームが Docker アーキテクチャを使用することを許可し、奨励します。最後に、ML DevOps プラクティスを組み合わせます。

5) 政策:変更はしばしば激しい反対に遭遇します。私の友人の多くは、変化と企業文化の変革についての議論について聞いたことがあると思いますが、それでもここでもう一度強調したいと思います。新しい考え方、新しいツール、新しいプロセスを導入する場合、懐疑心、不慣れさ、誤解などの問題により、常にある程度の不確実性が存在します。その結果、チームは社内の議論に多くの時間を費やし、最終的には概念実証プロジェクトを実施する最適な時期を逃してしまいます。

中心的な質問: 利害関係者からのサポートをどのように得るか?

解決策: 価値観と利益を統一する。適切かつ明確な価値提案を伴うユースケースを確立します。上流プロセスと下流プロセスをできるだけ早い段階で関与させ、上級管理職と運用関係者がプロジェクトを理解して参加できるようにします。彼らと共同でソリューションを設計し、ポイント 2 で述べたプロセスを通じて専門知識を集め、早い段階で賛同を得ます。また、プロジェクトの進行を段階的に進めることを忘れないでください。最後に、会社内ですべての関係者の意見を調整するために経験豊かな人を見つけることを忘れないでください。これも非常に重要です。

要約する

より多くの ML ソリューションを導入しなければ、人々は自信を失い、企業はより有望な機会に焦点を移し、過去の AI の冬が繰り返されることになります。しかし、ML の導入を妨げる問題の多くはすぐに解決できると私は確信しています。その問題の一部は ML テクノロジーに特有のものであり、一部は企業内の固有の制限によるものです。

しかし、歴史は私たちの手の中にあり、私たちの努力によって次の AI の冬の波が来るかどうかが決まります。 ML の幹部、マネージャー、実務者の皆さん、私たちは AI の冬に対する最後の防衛線です。さあ、始めましょう!