マイクロソフト、大規模 AI モデルのトレーニングにかかる​​時間とコストを大幅に削減する ZeRO++ テクノロジーを発表

6月27日、マイクロソフトの研究者らは、大規模なAIモデルのトレーニング時に遭遇しやすいデータ転送コストと帯域幅制限を最適化し、大規模モデルのトレーニングにかかる​​時間とコストを大幅に削減できる「ZeRO++」という新技術を新たに発表した。

ZeRO++ は既存の ZeRO 伝送技術に基づいて構築されており、トレーニングの時間とコストを削減しながらトレーニングの効率を向上させる強化された通信戦略を提供すると報告されています。

▲ 画像出典：Microsoft

パラメータ通信の量を減らすために、ZeRO++ は重みを量子化できます。ブロックベースの量子化方法を使用して、トレーニングの精度を維持します。この最適化された量子化プロセスは、元の Zero 伝送テクノロジよりも高速で正確です。通信オーバーヘッドを最小限に抑えるために、ZeRO++ は各マシンにモデルの完全なコピーを維持し、GPU メモリを通信帯域幅と交換します。勾配通信に関しては、ZeRO++ は qgZ と呼ばれる新しい量子化勾配通信方式を導入し、ノード間のトラフィックとレイテンシを削減できます。

▲ 画像出典：Microsoft

これらの改善された通信技術により通信量が大幅に削減され、Microsoft の研究者は、ZeRO++ は ZeRO と比較して通信量を最大 4 倍削減し、トレーニングのスループットと効率を向上させると述べています。各 GPU で小さなバッチ サイズを使用すると、ZeRO++ は高帯域幅クラスターで ZeRO-3 よりも 28% ～ 36% 高いスループットを実現します。低帯域幅のクラスターでは、ZeRO++ は ZeRO-3 と比較して平均 2 倍の高速化を実現し、より多様なクラスターで大規模なモデルのトレーニングをより実現可能にします。

IT Home 注: IT Home は、Turing-NLG、ChatGPT、GPT-4 などの大規模モデルのトレーニングには、複数の GPU デバイスにわたる大量のビデオ メモリとコンピューティング リソースが必要であることに気付きました。ZeRO++ では、低帯域幅のクラスターでトレーニングする場合に、元の ZeRO 伝送テクノロジの帯域幅制限を克服するための通信最適化戦略を導入しています。 Microsoft は現在、関連する技術ドキュメントを公開しており、研究者は ZeRO++ を使用してモデルをより効率的にトレーニングし、AI 分野における新たな可能性を探求することができます。