非常に効率的な人工知能チームを構築するにはどうすればよいでしょうか?

翻訳者 | 朱 仙中

校正 | 梁哲、孫淑娟

導入

この記事では、機械学習のインフラ、従業員、プロセスを統合して、企業に適した MLOps (人工知能システムの運用管理) を実現する方法を紹介します。この記事は、効果的な AI チームで強力な人工知能/機械学習 (AI/ML) プロジェクトを開発することを目指すマネージャーや経営幹部にインスピレーションを与えることを願っています。

この記事で紹介する経験は、AI テクノロジー開発のさまざまな段階で複数のクライアントと連携して成功を収めてきた Provectus の AI チームによるものです。

バランスの取れた AI チームを構成するものは何でしょうか?

数年前、AI/ML（人工知能/機械学習）プロジェクトの作業のかなりの部分はデータサイエンティストによって行われていました。一部のチームは、より高度な役割とツールの組み合わせに頼って仕事を遂行していますが、データ サイエンティストがラップトップでモデルを操作するのは業界の標準になっています。

今日では、データ サイエンティストを雇用するだけでは、実行可能な AI/ML プロジェクトを迅速かつ効率的に大規模に本番環境に導入するには不十分です。より現実的には、これらのプロジェクトは、複数の役割を持つ多機能で高性能なチームによって最も効果的に達成され、各役割は ML インフラストラクチャと MLOps の独自の部分のみを処理します。

現代のチームでは、データ サイエンティストやシチズン データ サイエンティストは依然として欠かせないメンバーです。データ サイエンティストは、データとビジネス全体を理解する責任を負う分野の専門家です。彼らは、データ マイニング、データ モデリング、データ視覚化の実践者であり、データ品質とデータ バイアスの問題に焦点を当て、実験とモデルの出力を分析し、仮説を検証し、ML エンジニアリング ロードマップに貢献します。

バランスの取れた AI チームには、データ サイエンティストとは異なるスキル セットを持つ ML エンジニアも含める必要があります。特定の AI および ML アプリケーションとユースケースに関する深い専門知識が必要です。たとえば、コンピューター ビジョン アプリケーションを構築する場合、ML エンジニアはコンピューター ビジョンにおける最先端のディープラーニング モデルに関する幅広い知識を持っている必要があります。

理論的には、すべての ML エンジニアが MLOps の専門知識を持っている必要がありますが、ML/MLOps インフラストラクチャ自体 (関連ツールとコンポーネントを含む) については、すべて専任の MLOps プロフェッショナルに任せたほうがよいでしょう。

プロジェクト マネージャーは、ML および AI プロジェクトを実行するためのトレーニングも受ける必要があります。従来の Scrum または Kanban プロジェクト ワークフローは、ML プロジェクトには適さなくなりました。たとえば、Provectus では、ML プロジェクトの範囲とタイムラインを管理し、会社のビジネス関係者全体に期待を設定するための特別なアプローチを採用しています。

次のセクションでは、これらの役割 (およびその他の役割) をそれぞれ詳しく検討し、それらが ML インフラストラクチャ、MLOps サポート プロセス、および ML 配信にどのようにマッピングされるかを説明します。ここでの重要なメッセージは、MLOps を実現し、AI テクノロジーの導入を加速するために、AI チームには緊急にバランスの取れた構成が必要であるということです。

興味のある読者は、「Provectus と GoCheck Kids が協力して、視力検査中のユーザビリティを向上させる ML インフラストラクチャを構築した方法」(元のリンク https://aws.amazon.com/cn/blogs/apn/how-provectus-and-gocheck-kids-built-ml-infrastructure-for-improved-usability-during-vision-screening/) を参照してください。

AIチーム構築における管理上の課題

実際のチーム構成を超えて、AI チームを ML インフラストラクチャおよび MLOps 基盤と同期させるには、効果的な管理が重要です。

管理の観点から見ると、典型的な組織構造には次のメンバーが含まれる必要があります。

• エンジニアリング担当副社長に報告するビジネスユニットと従来のソフトウェアエンジニアを担当
• インフラストラクチャ担当副社長に報告するDevOpsプロフェッショナルとインフラストラクチャ専門家
• データを扱うデータサイエンティスト。多くの場合、ビジネス関係者と直接連携して作業します。
• データエンジニアは、生データをデータサイエンティストやビジネスアナリストが利用できる情報に変換するように設計されたシステムを構築します。

上の図から、この組織構造では、次のような部門間のサイロ化などの課題が簡単に発生する可能性があることは容易にわかります。

1. 同社の ML ワークフローと AI プロジェクト管理に関する理解が限られていたため、上記のチームのメンバーは誰も、ビジネス目標を AI 製品に変換して本番稼働させる方法を完全に理解していませんでした。その結果、プロジェクトの境界と KPI (主要業績評価指標) を管理できず、ビジネス関係者の期待に応えられなくなりました。

2. 一部の企業は、AI プロジェクトを既存のデータ サイエンス チームに委託しようとします。しかし、これらのチームはこれまで独自のサイロ内で作業しており、AI/ML プロジェクトには適用できないデータ サイエンス手法に依存してきました。その結果、生産に至らない中途半端な製品やプロジェクトが開発されることになります。

3. 他の企業では通常、AI プロジェクトを従来の Java および .NET プログラマーに割り当てるか、サードパーティの ML API を活用することを選択します。このアプローチも失敗する傾向にあります。これらの API を効果的に使用するには、データとその基礎となるアルゴリズムを深く理解する必要があるためです。その結果、実稼働環境に到達することのないデータ サイエンス コードの形で、技術的負債が増大することになります。

実際、これらの課題の解決策は、人とツールの適切なバランスを見つけることにあります。この記事で紹介したシナリオでは、これは、エンドツーエンドの MLOps インフラストラクチャを活用して共同作業を行い、開発を反復できるバランスの取れた AI チームを意味します。

MLOps の専門家を雇ったり、MLOps プラットフォームを購入したりするだけでは不十分です。必要なのは、強力なインフラストラクチャとバランスの取れた AI チームの組み合わせです。この 2 つの共同の取り組みによってのみ、最終的に AI/ML プロジェクトを成功させることができます。

バランスの取れた AI チームと MLOps インフラストラクチャがどのように連携するか

バランスの取れた AI チームと MLOps インフラストラクチャ間の特定の役割の相乗効果は、次の 3 層エコシステムを通じて視覚化できます。

1. 最下層は、クラウドとセキュリティの専門家、および DevOps によってサポートされる MLOps のインフラストラクチャ バックボーンです。このレイヤーは、アクセス、ネットワーク、セキュリティ、CI/CD パイプラインなどの重要なインフラストラクチャ コンポーネントをホストします。

2. 2 番目のレイヤーは、MLOps の共有可能で再利用可能なリソース部分です。このレイヤーは ML エンジニアと MLOps プロフェッショナルによって管理され、さまざまなグラフィック ソフトウェア、カーネル、テンプレート アプリケーションを備えたノートブック、共有リソースとして扱われるコンポーネントとライブラリで構成されるパイプライン、実験、データセットと特徴データ、モデルが含まれます。このレイヤー内のすべてのリソースはさまざまなチームで使用および再利用できるため、AI の開発と導入が加速されます。

3. 3 番目の層は、データ サイエンティスト、フルスタック エンジニア、プロジェクト マネージャーによって管理される人工知能プロジェクトです。このレイヤーは他の 2 つのレイヤーからは独立していますが、それらによって有効化されます。

クラウド & セキュリティ、DevOps、ML エンジニア、MLOps の役割は異なるレイヤーの間に位置し、相互に貢献することに注意してください。例えば：

• クラウドとセキュリティの部分はインフラストラクチャのバックボーンを所有していますが、リソース レイヤーを再利用し、すべてのコンポーネントとチェックが適切に行われていることを確認する責任も負っています。
• DevOps プロフェッショナルは、ビルドの自動化から環境の管理に至るまで、下位 2 層のタスクの自動化を担当します。
• ML エンジニアは、MLOps インフラストラクチャとプロジェクトの専門知識を持っています。リソース レイヤーのさまざまなコンポーネントを再利用する役割を担います。
• MLOps の専門家は ML エンジニアと緊密に連携しながら作業しますが、インフラストラクチャ全体 (Amazon の機械学習プラットフォーム サービス SageMaker や Google の機械学習ツール ライブラリ Kubeflow など) を所有しており、最終的な目標はすべてを統合することです。

その間、市民データ サイエンティストは主にノートブックを通じて作業し、特定の AI/ML プロジェクトを優先することができます。 ML パイプラインの特定の部分を所有できますが、MLOps の「面倒な」部分を強制されることはありません。フルスタックエンジニアは、UIからAPIまでのAI製品の従来のソフトウェア部分の実装を担当し、MLのトレーニングを受けたプロジェクトマネージャーは製品の実装を担当します。

もちろん、上記は単なる抽象的な記述です。下の図は参考用のインフラストラクチャを示しており、主にインフラストラクチャのバックボーン部分のコンポーネントを示しています。

ここでは、データ サイエンティストがツールを使用して生データを処理し、ノートブックでデータ分析を実行し、テスト仮説を完了できることがわかります。 ML エンジニアが管理する実験環境で簡単に実験を実行できます。実験環境は、機能の保存、データセットの生成、モデルのトレーニング、モデルの評価、事前設定されたデータ アクセス モードなどの共有および再利用可能なコンポーネントで構成されています。これにより、データ サイエンティストを快適な領域から追い出すことなく、面倒でエラーが発生しやすいタスクを自動化できます。

一方、ML エンジニアは ML モデルの製品化を担当します。つまり、実稼働環境で使用されるアルゴリズム コードとデータ前処理コードを開発できるということです。さらに、実験環境向けにさまざまなパイプラインを構築して実行することもできます。

最後に、DevOps プロフェッショナルは、すべてのインフラストラクチャ コンポーネントを効率的に管理するのに役立ちます。たとえば、私たちのリファレンス アーキテクチャでは、1 から 4 までのいくつかの単純な数字が、DevOps によって処理される CI ワークフローを示しています。

結論

企業に MLOps を実際に実装するには、時間とリソースが必要です。最も重要なことは、MLOps は実際のテクノロジーと同じくらい、人材とプロセスに関するものであることを理解する必要があるということです。特定の役割と機能を整理し、それらを機械学習インフラストラクチャの対応するコンポーネントに一致させることができれば、問題はそれほど複雑にはなりません。覚えておいてください: 人 + インフラストラクチャ = MLOps。

Provectus では、効率的な AI チームを開発し、MLOps に強力なインフラストラクチャ サポートを提供しながら、企業が高度な AI/ML ソリューションを構築するのを支援してきました。

[注記] この記事の著者である Stepan Pushkarev は、Provectus の CEO、CTO、共同創設者です。 Provectus は、企業の AI 導入の加速と成長の促進を支援する AI コンサルティングおよびソリューション プロバイダーです。 Provectus では、Pushkarev 氏は、企業の運営、競争、顧客価値の提供方法を​​改革するのに役立つ業界固有の AI ソリューションのビジョンを先駆的に提唱しました。さらに、プシュカレフ氏は機械学習、クラウド コンピューティング、分散データ処理システムに関する深い専門知識を持つ思想的リーダーであり、プロフェッショナル サービス ビジネスの開発と SaaS テクノロジーの作成において優れた実績を持っています。

翻訳者紹介

Zhu Xianzhong 氏は、51CTO のコミュニティ エディターであり、51CTO の専門ブロガー兼講師であり、濰坊の大学のコンピューター教師であり、フリーランス プログラミング コミュニティのベテランです。初期にはさまざまな Microsoft テクノロジに注力し (ASP.NET AJX および Cocos 2d-X に関連する 3 冊の技術書を編纂)、オープンソースの世界に 10 年近く携わってきました (人気のフルスタック Web 開発テクノロジに精通)。OneNet/AliOS+Arduino/ESP32/Raspberry Pi をベースとした IoT 開発テクノロジや、Scala+Hadoop+Spark+Flink などのビッグデータ開発テクノロジを理解しています。

原題: AI のための人材管理: 高速 AI チームの構築、著者: Stepan Pushkarev