「Singularity」AIコンピューティングプラットフォームの詳細を公開！それは4年前のマイクロソフトの古いプロジェクトの復活であることが判明した

AI サービスプラットフォームのコストと効率の問題は、大手サービスプロバイダーが解決と改善に懸命に取り組んでいる難しい問題です。

具体的には、顧客のニーズを満たしながらシステム全体のリソースの消費を最小限に抑え、ディープラーニングのワークロードの利用率を高めることでコストを削減する方法についてです。

最近、Microsoft Azure 研究チームは協力して、コード名「Singularity」の新しい AI インフラストラクチャサービスを構築しました。研究者の言葉を借りれば、これは「マイクロソフトの内外で AI の主要な推進力となる、まったく新しい AI プラットフォームサービス」です。

Singularity サービスは、データサイエンティストや AI 実践者に、AI 専用に構築された Microsoft の分散インフラストラクチャサービス上でモデルを構築、拡張、実験、反復する方法を提供するように設計されています。

論文の宛先:

出典：http://arxiv.org/pdf/2202.07848.pdf

Singularity サービスを説明する論文の中で、研究者らは次のように述べています。

「Singularity の中核となるのは、ディープラーニングのワークロードを透過的にプリエンプトし、弾力的にスケーリングする、新しいワークロード対応スケジューラです。これにより、正確性やパフォーマンスを損なうことなく、世界中の AI アクセラレータ (GPU、FPGA など) の利用率が向上します。」

Singularity サービスを使用すると、アクティブなワークロードを動的かつ透過的に占有して、異なるノード、クラスター、データセンター、またはリージョンのセットに移行し、正確に実行できることが報告されています。また、特定のタイプのアクセラレータの異なるセットでサイズを変更することもできます (つまり、エラスティックスケーリング)。

Singularity プラットフォームアーキテクチャ図

ユーザーはコードを変更する必要はなく、柔軟性を制限する可能性のあるカスタムライブラリを使用する必要もありません。 Microsoft によれば、このアプローチによりディープラーニングワークロードの信頼性が大幅に向上するという。

この論文の著者には、Azure CTO の Mark Russinovich、2019 年に Azure に移って AI とディープラーニングに取り組むまで Azure Cosmos DB に携わっていたパートナーアーキテクトの Rimma Nehme、技術研究者の Dharma Shukla などが含まれています。

現在使用されている弾性負荷分散メカニズムと比較して、Singularity スケジューラは、各ワーカーを物理 GPU に 1 対 1 でマッピングしたり、多対 1 のマッピングを使用して物理 GPU を仮想化し、ワールドサイズを変更せずに複数のワーカー間でタイムスライスしたりできます。

対照的に、現在の弾性メカニズムスケジューラは、ワールドサイズを 4 分の 1 に縮小して最後のチェックポイントから作業を再開するため、リソースが無駄になります (たとえば、最後のチェックポイント以降の初期化と反復をやり直す必要があります)。

テスト結果は、さまざまなモデルでベースラインレベル (B) と比較して Singularity サービス (DP) を使用することで得られるパフォーマンスの向上を示しています。

透過的な弾性負荷スケジューリングのパフォーマンスに関しては、Singularity は平均 7% の優位性を達成しました。

研究者らは、Singularity はディープラーニングのワークロードのスケジューリングにおいて大きな進歩を遂げ、弾力性などのニッチな機能を主流の機能に変え、これに基づいてディープラーニングのワークロードのスケジューリングを実現したと述べました。

Singularity により、これまでにないレベルのワークロードの互換性が実現します。ワークロードは、グローバルに分散されたフリートのどこにあってもアイドル状態のリソースを活用できます。

Singularity はシンプルなユーザーエクスペリエンスを提供します。ユーザーはチェックポイントや弾性負荷の問題を心配することなく、機械学習タスク自体に集中するだけで済みます。これらのインフラストラクチャの最適化は、ユーザーに対して完全に透過的です。

4年前の古いプロジェクトが「生まれ変わる」？

ZD Net は、Singularity が Microsoft が以前に開始した Brainwave プロジェクトの商業化の次の段階になる可能性があると報じました。

マイクロソフトは以前、FPGA（フィールドプログラマブルゲートアレイ）を顧客へのサービスとして提供する計画について説明していた。

2018年、マイクロソフトはAzureで高速なAI処理とコンピューティング機能を提供することを目的とした「Brainwave」プロジェクトを発表しました。

当時、マイクロソフトは、AI ワークロード向けに顧客に提供する FPGA 処理プラットフォームである Brainwave を搭載した、クラウド上の Azure Machine Learning ハードウェアアクセラレーションモデルのプレビューを提供していました。

Brainwave は、高性能分散システムアーキテクチャ、カスタマイズ可能なチップ (FPGA) 上で実行されるハードウェアディープニューラルネットワークエンジン、およびトレーニング済みモデルを展開するためのコンパイラで構成されています。

実際、マイクロソフトが自社のプラットフォーム上で「Singularity」という言葉を使用したのは今回が初めてではない。 Microsoft は以前、完全にマネージドコードで開発されたマイクロカーネルオペレーティングシステムと、関連するツールおよびリソースライブラリのセットの名前として Singularity を使用していました。

Singularity は最終的に、Barrelfish、Helios、Midori、Drawbridge など、Microsoft の他のいくつかのクラウドプラットフォームおよびオペレーティングシステムプロジェクトを生み出したり、影響を与えたりしました。