多くの機械学習戦略が失敗する理由

クラウド コンピューティング サービス プロバイダーの Rackspace Technology が最近実施した調査によると、ほとんどの組織は実行可能な人工知能戦略の開発に苦労しています。この調査は、製造、金融、小売、政府、医療など、さまざまな業界セクターにわたる 1,870 の組織を対象としています。調査によると、成熟した AI/機械学習プログラムを備えている組織はわずか 20% で、残りの組織は、そのプログラムをさらに効果的にする方法を模索している段階です。

[[386015]]

機械学習がほぼすべての分野で大きな応用の見込みがあることは間違いありません。機械学習モデルを実際の業務に適用するメリットとしては、コストの削減、精度の向上、顧客エクスペリエンスの向上、新機能の導入などが挙げられますが、機械学習は万能薬ではなく、人工知能と機械学習のテクノロジーを組織のビジネスや業務に適用する前に克服しなければならない障害がいくつかあります。

AI テクノロジーを業務に統合する際に組織が直面する 3 つの主な課題は、スキル、データ、戦略です。Rackspace の調査レポートでは、一部の機械学習戦略が失敗する理由が明確に示されています。

機械学習はデータがすべて

機械学習モデルは、コンピューティング リソースとデータに基づいています。クラウド コンピューティング サービスにより、AI モデルのトレーニングと実行に必要なハードウェアへのアクセスがより簡単かつ手頃な価格になりました。

しかし、AI 戦略の計画と導入のさまざまな段階で、データは依然として大きな障害となっています。 Rackspace の調査では、回答者の 34% がデータ品質の低さが機械学習の研究開発の失敗の主な理由であると答え、さらに 31% がすぐに利用できる生産データが不足していると答えました。

これは、機械学習技術を現実世界の問題に適用する際の主な障害の 1 つを浮き彫りにしています。 AI 研究コミュニティは、最新の機械学習技術をトレーニングおよびテストするために多くの公開データセットにアクセスできますが、これらの技術をアプリケーションに適用する際に高品質のデータを取得することは容易ではありません。これは、データが不足していたり​​、厳しく規制されていることが多い産業、医療、政府部門に特に当てはまります。

機械学習の取り組みが研究段階から実稼働段階に移行すると、データの問題が再び発生します。機械学習を使用して貴重な洞察を抽出する場合、データの品質は依然として最大の障害となります。データ エンジニアリングの問題も、データ サイロ、さまざまなデータ ソースを接続する人材の不足、より意味のある方法で十分な速さでデータを処理できないことなど、深刻な問題を引き起こします。

機械学習モデルから実用的な洞察を得るには、データが最も重要な要素です。

ラックスペース・テクノロジーの最高技術責任者ジェフ・デバーター氏は、新興企業も既存企業もデータの問題に直面しているが、両者の主な違いは規模であると述べた。 DeVerter 氏は次のようにコメントしています。「スタートアップ企業には、高品質のデータ パイプラインを実装し、それを長期にわたって管理するためのリソースがないことがよくあります。既存の企業は規模が大きいことが多く、より厳しい要件に直面しています。」

組織が AI 戦略のデータの課題に対処する最善の方法は、データ インフラストラクチャの包括的な評価を実施することです。サイロを排除することは、あらゆる機械学習の取り組みにおいて重要な優先事項であるべきです。組織は、機械学習モデルの精度とパフォーマンスを向上させるために、データをクリーニングするための適切な手順も備えている必要があります。

AI人材の需要は依然として高い

ほとんどの組織が直面している 2 番目の課題は、機械学習とデータ サイエンスの人材を獲得することです。 Rackspace によると、機械学習の取り組みが失敗する 2 番目に多い理由は、社内の専門知識の不足です。

多くの企業はAI戦略を実行するための人材の獲得に苦労している

機械学習とディープラーニングは、業界を問わず組織の生産環境で最近になってようやく主流となり、多くの小規模組織には AI モデルを開発できるデータ サイエンティストや機械学習エンジニアがいません。

また、データ サイエンティストや機械学習エンジニアの平均給与は、経験豊富なソフトウェア エンジニアと同程度であるため、多くの組織にとって AI イニシアチブを主導できる優秀なチームを編成することが困難になっています。

機械学習やデータサイエンスの人材が不足していることはよく知られていますが、データベース、データ ウェアハウス、データ レイクを構築、保守、更新するデータ エンジニアをさらに採用する必要性については、あまり注目されていません。 Rackspace によると、多くの組織の機械学習の取り組みが失敗するのは、データ インフラストラクチャを機械学習の目的に合わせて適応させる能力がないためです。サイロの解体、クラウド プラットフォームへの移行、Hadoop クラスターの構築、さまざまなプラットフォームの機能を活用できるハイブリッド システムの作成は、組織が関連する人材を非常に不足している分野です。これらの問題により、組織全体で機械学習の取り組みを実装することができません。

新しい機械学習やデータサイエンスのツールが開発されるにつれて、人材不足の問題は軽減されるでしょう。 Google、Microsoft、Amazon は、機械学習モデルの開発を容易にするプラットフォームを立ち上げました。一例として、Microsoft の Azure Machine Learning サービスが挙げられます。このサービスは、ドラッグ アンド ドロップ コンポーネントを備えたビジュアル インターフェイスを提供し、プログラミングなしで機械学習モデルを簡単に作成できます。もう 1 つの例は、面倒なハイパーパラメータ調整プロセスを自動化する Google の AutoML です。これらのツールは機械学習の才能に取って代わるものではありませんが、この分野に参入したい人にとって参入障壁を下げ、多くの組織がこれらの成長分野にさらに熟練した才能のある人材を雇用することを可能にします。

「社内のデータサイエンスの人材不足はかつてのような障壁ではなくなり、今ではより多くの組織が自社の機械学習を活用して支援したり、そうした人材を擁するコンサルティング会社にアクセスしたりできるようになりました」とデバーター氏は語った。

この分野におけるその他の進展としては、クラウド ストレージと分析プラットフォームの成長があり、これにより AI システムの作成と実行に必要なデータ インフラストラクチャの複雑さが大幅に軽減されました。一例として、Google の BigQuery が挙げられます。これは、さまざまなソースに保存されている大量のデータを簡単にクエリできるクラウドベースのデータ ウェアハウスです。

機械学習ツールの互換性と統合機能は向上し続けており、組織が機械学習ツールを既存のソフトウェアやデータ エコシステムに統合することが容易になっています。

AI イニシアチブを実装する前に、すべての組織は社内の人材、利用可能なツール、統合の可能性を徹底的に評価する必要があります。組織は、社内エンジニアにどの程度依存しているか、また人材の採用にどの程度のコストがかかっているかを理解する必要があります。これが、機械学習の取り組みの成否を左右する要因となります。また、スキルの再習得が実行可能な行動方針であるかどうかも検討してください。データサイエンスや機械学習のプロジェクトに携わるエンジニアのスキルを向上させることができれば、長期的にはより多くのメリットが得られます。

AI人材のアウトソーシング

近年増加しているもう一つの傾向は、AI プロジェクトのアウトソーシングです。 Rackspace の調査では、AI アプリケーションの開発に社内の人材に依存していると答えた回答者はわずか 38% でした。残りの回答者は、AI プロジェクトを完全にアウトソーシングするか、社内スタッフとアウトソーシングした人材を組み合わせて雇用していると回答しました。

ほとんどの組織は、AIイニシアチブの計画と実装に外部の人材に依存しています。

現在、AI戦略の研究と実装を専門とする企業が存在します。たとえば、C3.ai は複数の業界向けに人工知能ソリューションを提供する企業です。 同社は、Amazon、Microsoft、Googleなどのクラウドコンピューティングプロバイダーに人工知能ツールを提供しています。同社はまた、戦略策定と実装の段階を通じて顧客を段階的に導く AI コンサルティングと専門知識も提供しています。

「成熟したベンダーは、戦略から実装、保守、サポートまですべてを提供できます」と Rackspace のレポートは述べています。「戦略により、AI や機械学習の取り組みが勢いを失ったり、複雑さで行き詰まったりする領域を回避できます。技術専門家は、組織を面倒なクリーンアップや保守作業から救うこともできます。これらの専門知識を組み合わせることで、最終的な成功に大きな違いが生まれます。」

ただし、組織の AI 戦略を外部プロバイダーに完全に委ねることは、諸刃の剣になる可能性があることに注意する必要があります。戦略を成功させるには、AI の専門家と戦略を実行する組織の技術の専門家との緊密な連携が必要です。

「これは、DevOps 開発アプローチを採用し、開発全体をアウトソーシングしようとする組織と非常によく似ています」と DeVerter 氏は言います。「DevOps では、開発者、ビジネス アナリスト、その他のビジネス担当者間の緊密な連携が必要です。同様に、AI プロジェクトには戦略と技術的な専門知識だけでなく、組織やリーダーシップとの緊密な連携も必要です。」

AI アウトソーシングの人材は細心の注意を払って業務を遂行する必要があります。アウトソーシングにより AI 戦略の開発と実装のプロセスをスピードアップできますが、組織は社内の担当者がプロセスに完全に関与できるようにする必要があります。理想的には、組織はデータ サイエンティストと機械学習エンジニアの独自のチームを開発および成長させ、必要に応じて外部の専門家と協力する必要があります。

AI戦略を評価するにはどうすればいいでしょうか?

最後に、AI の導入に乗り出した組織が苦労するもう 1 つの分野は、AI 戦略の結果と価値を予測することです。多くの分野で機械学習の応用が非常に新しいことを考えると、AI 戦略の計画と実装にどれくらいの時間がかかり、投資収益がどれくらいになるかを事前に知ることは困難です。逆に、AI イニシアチブに対するサポートを得るとなると、組織のイノベーターは他者の参加を得るのに苦労します。

Rackspace の調査では、回答者の 18% が、組織が AI 戦略を採用する上での主な障壁として、明確なビジネス ケースの欠如を挙げています。組織のトップマネジメントのコミットメントの欠如も、最大の障害の 1 つです。ユースケースの不足と上級管理職のコミットメントが、機械学習プロセスにおける大きな課題として再び浮上しました。

「AI は組織内の問題を探し出すことが多いです。これが組織内で AI を広く導入する上での最大の障壁の 1 つだと思います」と DeVerter 氏は言います。「AI 実践者は AI が組織にどのようなメリットをもたらしたかを示すことができるため、こうした活動への資金をさらに確保できます。組織のリーダーは AI がコスト削減や利益獲得にどのように役立つかを知る必要があります。」

AI イニシアチブの結果を評価するのは困難です。調査によると、AI プロジェクトの成功を測る 2 つの主要なパフォーマンス指標は、利益率と収益成長です。当然ながら、短期的な利益に重点が置かれているのは、AI プロジェクトのコストが高いことが一因です。 Rackspace の調査によると、各組織が AI プロジェクトに費やしている平均額は年間 106 万ドルです。

しかし、優れた AI イニシアチブは収益の増加とコストの削減を可能にしますが、多くの場合、機械学習の長期的な価値は新しいユースケースと製品の開発にあります。

「短期的な利益は、その短期的な利益によって賄われる長期戦略と一致させなければ、長続きしないだろう」とデバーター氏は語った。

組織内で AI イニシアチブの責任者は、AI 戦略のユースケース、コスト、メリットを明確に説明する必要があります。組織の意思決定者は、実行すべき作業を明確に理解している必要があります。 AI への投資による短期的なメリットを理解するだけでなく、長期的にどのようなメリットが得られるかも知っておく必要があります。