機械学習のトレーニングをより安価かつ効率的にする方法

さまざまなタスクに人工知能を導入する企業が増えるにつれ、AI モデルのトレーニングは費用がかかり、困難で、時間のかかる作業であることがすぐにわかりました。

[[434890]]

新会社 MosaicML は、これらの課題に対処するための新しい方法を見つけることを目指しており、現在、アルゴリズムとシステムの両方のレベルで問題に対処するように設計されたクラウドベースのニューラル ネットワーク トレーニング システムを立ち上げる準備をしています。

1 同社の創設者らは、トレーニングのスピードアップと改善のために連携して機能する手法の組み合わせ（「モザイク」）を通じて機械学習をより効率的にすることがそのアイデアだと主張している。基本的な考え方は、機械学習モデルはクラウド、データセンター、またはローカルでは高価であるため、学習プロセスにおける非効率性を排除することが重要な問題であるということです。

同社はすでに、将来の製品の一部となる2つのコンポーネントを構築している。 Composer は、約 20 種類の異なるメソッドから始めて、そのパフォーマンス上の利点を厳密にベンチマークし、「レシピ」に組み合わせることができる、効率的な機械学習 (ML) トレーニングのためのメソッドのオープンソース ライブラリです。製品が成熟するにつれて、追加のメソッドが追加されます。

MosaicML のもう 1 つのコンポーネントは Explorer です。これは、企業の開発者がコスト、品質、実験の実行にかかる時間を比較して、モデルを実行するための最適なパスをシミュレート、プロット、選択できるようにする視覚化ツールおよびインターフェースです。 Explorer は、標準ベンチマークでの何千ものトレーニング実行を通じて測定されたコスト、時間、品質のトレードオフの視覚化をユーザーに提供するように設計されています。ユーザーは、方法、クラウド、ハードウェア タイプ別にフィルタリングして、テストを実行するための最適なプロトコルを見つけることができます。

重要なのは、これらのテクノロジーによって従来のトレーニング プロセスがより効率的になることです。

このアイデアとニーズは、人工知能、機械学習、モデルの作成とテストの初期ステップから生まれます。従来、AI 開発者は、基本的には実行可能だがかなり非効率的な方法を考案してきました。ディープラーニングの世界では、物事は機能するが効率的ではないことが実証されていますが、コンピューティングは比較的安価であるため、それは問題ではありません。問題は、これがモデルが小さい場合にのみ当てはまることです。

モデルが非常に大きくなると、その計算面は実際には非常に高価になります。そして、現在 AI 業界はモデルが非常に大きくなり、データセットが非常に大きくなるという変曲点にあり、そのため費用が非常に高くなっています。 GPT-3 (拡張読解: DaaS エンタープライズ レベルの GPT 言語モデリングが利用可能) のトレーニングには 500 万ドルの費用がかかりましたが、これは 500 万ドルの費用がかかる実験にすぎないかもしれません。

ここで、MosaicML は人工知能と機械学習の分野にチャンスを見出し始めます。

MosaicML CEO は次のように語っています。「私たちは、人工知能がコア コンピテンシーではないが、データから価値を引き出すためにこれらのテクノロジーをコスト効率よく使用できる必要がある企業に注目しています。Meta (旧 Facebook) や Google であれば、これを実行できる大規模なチームがあり、高価なコンピューティングを節約して自分で管理できます。最終的にはこれらのツールを使用するかもしれませんが、実際には私たちを必要としません。営利企業が私たちの主なターゲットです。」

MosaicML は、潜在的な顧客や開発者が使用してその機能や特徴を学習できるように、オープン ソース ライブラリをリリースしました。ただし、製品名はまだ正式には決まっておらず、無料版と有料サポート版が2022年初頭に発売される予定だ。

「モデルをトレーニングするときに本当に気になるのはコストだけです」と彼は語った。しかし、その後、何かにどれくらいの時間がかかるか、どれくらいうまく機能するかなど、他の要素を考慮し始めます。

この Explorer ビジュアライザーを使用すると、違いを確認できます。そんなにお金をかけたくない、ただ安価な実験をしたいだけなら、試してみる価値はあるでしょう。アイデアは、ユーザーに物価がいくらなのかを理解するためのツールを提供することです。しかし、アイデアがなければ、実際に計画を立てることはできず、こうした実験を実施するのは非常に困難になります。当初、MosaicML はクラウド内のモデルで動作します。これは、これらの変数は各プロバイダーの料金コストに基づいて簡単にスケーリングできるためです。

人工知能の普及により、望むと望まざるとにかかわらず、より多くの組織がハイパフォーマンス コンピューティング (HPC) の領域に参入するようになっています。モデルの作成と最適化は、ハイパフォーマンス コンピューティングに取り組む組織にとって最大の課題の 1 つであり、単にハードウェアを取得するよりも困難であることは間違いありません。

業界アナリストは、これがより多くの AI ユーザーを支援する実行可能な方法だと述べている。 MosaicML は、モデルの最適化問題に取り組んでいます。Nvidia TensorRT など、特定のハードウェア向けに最適化する最適化もありますが、MosaicML はアルゴリズムの最適化を追求します。トレーニングに使用されるAIハードウェアは非常に高価であり、非常にハイエンドかつ最先端の技術です。トレーニング時間を 50% 削減できれば、それに応じてコストも削減できます。そして、クライアントは超高額な費用をかけて優秀な人材を雇う必要がありません。