最強モデル育成チップH200発売！ 141Gの大容量メモリ、AI推論が最大90％向上、H100にも対応

Nvidia の Huang 氏は、新世代の GPU チップ H200 で再び市場に参入しました。

公式サイトには、「AIとスーパーコンピューティング向けに特別に設計された、世界で最も強力なGPU」と明記されています。

写真

AI企業はどこもメモリ不足に不満を抱いていると聞きました。

今回はメモリが141GBとなり、H100の80GBに比べて76%増加しました。

HBM3eメモリを搭載した初のGPUとして、メモリ帯域幅も3.35TB/sから4.8TB/sに増加し、43%増加しました。

写真

これは AI にとって何を意味するのでしょうか?テストデータを見てみましょう。

HBM3e のサポートにより、H200 は Llama-70B の推論パフォーマンスをほぼ 2 倍にし、GPT3-175B の実行速度も 60% 向上させることができます。

写真

AI企業にとっても良いニュースがあります。

H200 は H100 と完全に互換性があるため、既存のシステムに H200 を追加する際に調整は必要ありません。

最も強力なAIチップは半年しか使えない

主要なメモリのアップグレードを除けば、H200 は他の点では、同じく Hopper アーキテクチャに属する H100 と基本的に同じです。

TSMCの4nmプロセス、800億個のトランジスタ、NVLink 4の毎秒900GBの高速相互接続がすべて完全に継承されています。

ピーク時の計算能力も変わっていません。一見すると、データはおなじみの FP64 Vector 33.5TFlops と FP64 Tensor 66.9TFlops のままです。

写真

なぜメモリが合計141GBなのかについて、AnandTechは、HBM3eメモリ自体の物理容量は144GBで、6つの24GBスタックで構成されていると分析しています。

NVIDIA は大量生産の理由から、歩留まり率を向上させるために少量を冗長性として保持しました。

H200はメモリをアップグレードするだけで、2020年にリリースされたA100と比較してGPT-3 175Bの推論を18倍高速化します。

H200は2024年第2四半期に発売される予定だが、最も強力なAIチップという称号は半年しか続かないだろう。

また、2024年第4四半期には、次世代BlackwellアーキテクチャをベースにしたB100がリリースされる予定だ。具体的な性能はまだ不明だが、グラフからは指数関数的な成長が示唆されている。

写真

いくつかのスーパーコンピューティングセンターがGH200スーパーコンピューティングノードを導入する

NVIDIA は、H200 チップ自体に加えて、それで構成される一連のクラスター製品もリリースしました。

1つ目はHGX H200プラットフォームで、HGXキャリアボードに8つのH200を搭載しています。ビデオメモリの合計容量は1.1TBに達し、8ビット浮動小数点演算速度は32P（10^15）FLOPSを超え、H100のデータと一致しています。

HGX は、NVIDIA の NVLink および NVSwitch 高速相互接続テクノロジを使用して、大規模な 175B モデルのトレーニングと推論を含むさまざまなアプリケーション ワークロードを最高のパフォーマンスで実行します。

HGX ボードは自己完結型であるため、適切なホスト システムに接続でき、ユーザーはハイエンド サーバーの GPU 以外の部分をカスタマイズできます。

写真

次は、Quad GH200 スーパーコンピューティング ノードです。これは、H200 と Grace CPU を組み合わせた 4 つの GH200 で構成されています。

写真

Quad GH200 ノードは、288 個の Arm CPU コアと合計 2.3 TB の高速メモリを提供します。

H200 は、多数のスーパーコンピューティング ノードを組み合わせることで、最終的に巨大なスーパーコンピュータを形成します。一部のスーパーコンピューティング センターは、GH200 システムを自社のスーパーコンピューティング機器に統合すると発表しています。

NVIDIA の公式発表によると、ドイツのユーリッヒ スーパーコンピューティング センターは、Jupiter スーパーコンピューターに GH200 スーパーチップを採用する予定です。搭載されている GH200 ノードの数は 24,000 に達し、電力は 18.2 メガワットで、1 時間あたり 18,000 キロワット時以上の電力に相当します。

このシステムは2024年に設置される予定で、オンラインになると、Jupiterはこれまでに発表されたホッパーベースのスーパーコンピューターの中で最大規模となる。

Jupiter には、約 93 (10^18) FLOPS の AI コンピューティング能力、1E FLOPS の FP64 コンピューティング レート、1.2PB の帯域幅 (1 秒あたり)、10.9PB の LPDDR5X、さらに 2.2PB の HBM3 メモリが搭載されます。

写真

Jupiterのほか、日本先端高性能計算センター、テキサス先端計算センター、イリノイ大学アーバナ・シャンペーン校国立スーパーコンピューティング応用センターなどのスーパーコンピューティングセンターも、GH200を使用してスーパーコンピューティング機器を更新およびアップグレードすると発表しています。

では、AI 実践者が GH200 を体験するにはどうすればいいのでしょうか?

GH200 はオンライン化後、Lambda や Vultr などの特定のクラウド サービス プロバイダーを通じて早期体験が可能になります。Oracle と CoreWeave も来年 GH200 インスタンスを提供する計画を発表しました。Amazon、Google Cloud、Microsoft Azure も GH200 インスタンスを導入する最初のクラウド サービス プロバイダーになります。

Nvidia 自身も、NVIDIA LaunchPad プラットフォームを通じて GH200 へのアクセスを提供します。

ハードウェアメーカーでは、ASUSやGIGABYTEなどが今年末にもGH200を搭載したサーバー機器の販売を開始する予定。

参考リンク:
[1] https://www.youtube.com/watch?v=6g0v3tMK2LU
[2] https://www.nvidia.com/en-gb/data-center/h200/
[3] https://www.anandtech.com/show/21136/nvidia-at-sc23-h200-accelerator-with-hbm3e-and-jupiter-supercomputer-for-2024