企業が機械学習アプリケーションから学ぶべき教訓

ビジネスの世界において機械学習 (ML) アプリケーションが継続的に宣伝され、大々的に宣伝されているのには、正当な理由があります。機械学習 (ML) は、おそらく今日の人工知能 (AI) の中で最も普及している分野です。 AI と機械学習は密接に関連していますが、互換性のある用語ではありません。機械学習はすでに多くのビジネス アプリケーションや顧客向けサービスに統合されており、自ら学習できるマシンは魅力的に思えます。

[[337020]]

企業が機械学習アプリケーションから学ぶべき教訓

しかし、多くの IT リーダーが言うように、新しいテクノロジーを導入すると、非現実的な期待が生じる可能性があります。この目的のために、機械学習とデータサイエンスの専門家が、機械学習テクノロジーを導入する際に企業やチームが学ぶ必要のある経験と教訓を共有しました。

1. 適切なチームを構築していない

企業に十分なデータと計算能力があっても、チーム内に適切な人材がいなければ、ビジネスの発展にも影響します。

「私がいつも強調していることの 1 つは、企業が機械学習製品を開発するために、緊密に協力し合う学際的なチームを構築する必要性です」と、Very のデータ サイエンス責任者である Jenn Gamble 博士は述べています。「データ サイエンティストがこれを単独で行うことはほとんどありません。」

機械学習 (ML) をうまく応用するには、さまざまな能力とスキルが必要ですが、Gamble 氏は次の点を重要なスキルとして指摘しています。

• 機械学習モデリング
• データパイプラインの開発
• バックエンド/API開発
• フロントエンド開発
• ユーザーインターフェース (UI) とユーザーエクスペリエンス (UX)
• 製品管理

「これらすべての分野でスキルを持つ人は一人もいないので、さまざまなスキルを持つ人々を集め、プロセス全体を通して緊密に協力するよう促す必要がある」とギャンブル氏は語った。

2. ビジネス上の期待と技術的な現実のギャップを埋められない

Gamble 氏はまた、機械学習 (ML) イニシアチブの実装を担当するチームに、必ずしも技術者ではない業界の専門家やエンドユーザーと緊密に連携するスタッフも含めることを推奨しています。

「AI プロダクト マネージャーの役​​割を担う人材を置くことは重要であり、従来のプロダクト マネージャーと同様に、その仕事は最終的な機械学習技術がどのように使用されるか、つまりエンド ユーザーは誰か、そのワークフローはどのようなものか、提供された情報に基づいてどのような決定を下すかに重点が置かれることになります」とギャンブル氏は述べた。

どのようなスキルを持っているかに関係なく、ほとんどの IT プロフェッショナルはこの問題に共感できます。つまり、ビジネスが機械学習 (ML) に期待することと実際に起こっていることの間にはギャップ (または大きなギャップ) がある可能性があるということです。

「ビジネス理解、データ理解、そして機械学習モデリングの観点から何ができるかを統合するという複雑さも加わります」とギャンブル氏は言う。「優秀なプロダクトマネージャーの多くがソフトウェアエンジニアであるのと同様に、優秀な AI プロダクトマネージャーの多くはデータサイエンティストでもあると思います。これは新興分野であり、その道を進む人は多くありませんが、この役割に対する需要は今後も増え続けるでしょう。」

3. 真実にはさまざまなバージョンがある

機械学習の基本的な現実: モデルまたはアルゴリズムの良し悪しは、入力されたデータの品質によって決まります。

インディコのCEO、トム・ワイルド氏は、「AIと機械学習に関しては、意図したタスクを学習するために与えられたトレーニング入力データに非常によく反応する、非常に知的なオウムと考えた方が良いでしょう」と語った。

しかし、これは学習方法の違いにつながります。つまり、特定のビジネス プロセスやサービスの現実を人々 (同じチームのメンバーであっても) がどのように認識するかには大きな違いが生じる可能性があります。

Indico を使用すると、モデル構築のためのトレーニング データのラベル付けプロセスに複数の人が関与できるようになります。彼はそれを投票のようなものだと考えており、すべての関係者がプロセスやタスクについて発言権を持っている。最近、同社のクライアントの 1 社では、6 人のスタッフがデータ ラベリング プロセスに参加し、最終的には短期的には失敗に終わりましたが、長期的にはメリットが得られました。

「モデルが構築されると、そのパフォーマンスが非常に悪いことがわかりました。さらに調査を進めると、6 人の人々がトレーニング サンプルのラベル付け方法についてまったく異なる見解を持っていることがわかりました」とワイルド氏は語ります。「これにより、6 人は特定のタスクについて非常に有益な会話をすることになり、特定のユース ケースの「真実」についてより深く理解できるようになりました。」

4. トレーニングデータが終わりだと思っている

生産中に、企業は初期のトレーニング データに少し自信を持ちすぎていたことに気づき、振り出しに戻ってしまう場合があります。 SigOpt のエンジニアリング ディレクターである Jim Blomo 氏は、優れたトレーニング データであっても必ずしもパフォーマンスが向上するわけではないと主張しています。

「モデルをトレーニングするだけで、それが機能すると信じることはできません」とブロモ氏は言います。「モデルを正しく機能させるには、高度に反復的な科学的なプロセスを実行する必要がありますが、それでも生産に大きなばらつきが生じる可能性があります。シミュレーションと検証のプロセス、継続的なパフォーマンス評価についても同様です。」

企業は、生産モデルのパフォーマンスを予測するために使用されるベンチマークを、実際にはモデル開発プロセス中に変更および調整する必要があることに気付くことがよくあります。モデラーが最初に学ぶことの 1 つは、適切なメトリックを定義することが最も重要なタスクの 1 つであり、多くの場合、複数のメトリックを追跡することが、より完全なモデルの動作を理解するために重要であるということです。

5. 従来のソフトウェア開発のミスを繰り返す

機械学習は、IT の他の部分を悩ませているのと同じ問題の影響を受けやすいです。連携しない機能別サイロで AI/ML チームを構築していませんか? これにより、従来のソフトウェア プロジェクトと同じ多くの問題 (範囲の拡大、期限の延長、ツールの破損、企業文化への悪影響など) が発生します。

「多くの企業は、膨大なデータを収集し、データ サイエンティストのチームを雇用するのに何年も費やしていますが、巨額の投資にもかかわらず、モデルを本番環境に導入できていません」と、Algorithmia の創設者であるケニー ダニエル氏は述べています。「データ サイエンティストに実装チーム用のプログラム コードを書かせるのは間違いであり、データ サイエンティストに DevOps の専門家であることを期待するのも間違いです。」

では、正しいアプローチは何でしょうか? 機械学習用のソフトウェア パイプラインを最新化および最適化するために使用するのと同じ考え方 (DevOps の考え方など) を採用します。

ダニエル氏は、「企業は、DevOps の経験と従来のソフトウェアの世界における教訓から学び、自動化された繰り返し可能なパイプラインとツールを作成し、基礎となる実装の詳細をコンテナ化して抽象化することが推奨されます」と述べています。

「企業は、機械学習製品を構築する際、DevOps の原則やユーザー中心設計など、ソフトウェア開発から学んだすべての原則と教訓を依然として必要としています」と Gamble 氏は言います。「多くのデータ サイエンティストは機械学習の学習に多くの時間を費やしていますが、ソフトウェア エンジニア、製品マネージャー、デザイナーほどこれらのトピックに精通していない可能性があります。」

DevOps が従来のソフトウェア開発が直面している問題に対する幅広い対応策として見られるのと同様に、機械学習と AI の他の側面でも新しいアプローチが登場しています。

「機械学習を従来の製品開発ミックスに組み込む際には他の考慮事項があるため、このギャップを埋めるために、MLops、DataOps、DataViz、MLUX（機械学習ユーザーエクスペリエンス）などの新しい分野が急成長しています」とギャンブル氏は語った。