Microsoft が 8 つの Nvidia H100 GPU を搭載した Azure ND H100 v5 仮想マシンをリリース

IT Homeは11月21日、Microsoft Azure AIインフラストラクチャがアップグレードされ、ND H100 v5仮想マシンシリーズがリリースされたと報じた。この仮想マシンは、NVIDIA H100 Tensor Coreグラフィックスプロセッシングユニット（GPU）と低遅延ネットワークを搭載している。

報道によると、Microsoft は新しい Azure ND H100 v5 仮想マシン (VM) シリーズをリリースし、現在、米国東部および米国中南部の Azure リージョンで利用可能となっている。

このシリーズには、AI ワークロードの複雑化に対応するために、最新の NVIDIA H100 Tensor Core GPU と NVIDIA Quantum-2 InfiniBand ネットワーキングが搭載されています。 Microsoft は AI への継続的な投資の一環として、AI に最適化された 4K GPU のクラスターを活用しており、今後 1 年間でこれを数十万の新しい GPU に拡張する予定です。

IT Home は、ND H100 v5 VM 仮想マシン シリーズの機能を次のようにまとめています。

• AI スーパーコンピューティング GPU: 8 つの NVIDIA H100 Tensor Core GPU を搭載。このシリーズは、前世代の仮想マシンと比較して AI モデルを大幅に高速化できます。
• 次世代のコンピューター処理装置 (CPU): CPU のパフォーマンスは AI のトレーニングと推論にとって非常に重要であり、Microsoft は第 4 世代の Intel Xeon スケーラブル プロセッサーを選択しました。
• 低遅延ネットワーク: NVIDIA Quantum-2 ConnectX-7 InfiniBand を使用すると、各 GPU は 400Gb/s、各 VM は 3.2Tb/s のクロスノード帯域幅を実現します。
• ホストから GPU へのパフォーマンスを最適化: PCIe Gen5 経由で GPU あたり 64GB/秒の帯域幅を提供します。
• 大容量メモリとメモリ帯域幅: DDR5 メモリはこの仮想マシン シリーズの中心であり、より高いデータ転送速度と効率を実現します。

マイクロソフトによれば、この一連の仮想マシンは新しい8ビットのFP8浮動小数点データ型を使用して、前世代のFP16よりも6倍高速に行列乗算演算を実行するという。 ND H100 v5 VM は、BLOOM 175B エンドツーエンド モデルなどの大規模言語モデルの推論速度を最大 2 倍高速化するのに役立ちます。