深夜に老黄が登場し、世界最強のAIチップH200が発売されました！パフォーマンスが90%向上し、Llama 2の推論速度が2倍になり、多数のスーパーコンピューティングセンターが参入

Nvidia のペースはますます恐ろしくなっています。

たった今、黄氏は再び深夜に発表しました。世界で最も強力な AI チップ H200 をリリースしたのです!

前モデルのH100と比較すると、H200の性能は60%～90%向上しています。

それだけでなく、2 つのチップは互いに互換性があります。つまり、H100 トレーニング/推論モデルを使用している企業は、最新の H200 にシームレスに切り替えることができます。

世界中の AI 企業はコンピューティング能力の不足に直面しており、Nvidia の GPU はすでに入手困難になっています。 Nvidia は以前、2 年ごとのアーキテクチャ リリース リズムを毎年に変更すると発表しました。

Nvidia の発表は、AI 企業が H100 をさらに探すために奮闘している中で行われた。

Nvidia の高性能チップは非常に価値があるため、融資の担保となっている。

H100 の所有者は誰？シリコンバレーで最も注目を集めるゴシップ

H200システムに関しては、Nvidiaは来年の第2四半期に発売される予定だと述べた。

NVIDIA は来年も Blackwell アーキテクチャをベースにした B100 をリリースし、2024 年には H100 の生産を 3 倍に増やし、200 万台以上の H100 の生産を目標としています。

記者会見で、NVIDIA は競合他社については一切言及しなかったが、「NVIDIA の AI スーパーコンピューティング プラットフォームは、世界で最も重要な課題のいくつかをより迅速に解決できる」と強調し続けた。

生成 AI が爆発的に普及するにつれ、需要は増える一方です。そして、そこには H200 も含まれていません。私は勝ってとても嬉しいです、Lao Huangも勝って本当に嬉しいです！

141GBの超大容量ビデオメモリで、パフォーマンスが2倍に！

H200 は、世界をリードする AI コンピューティング プラットフォームにパワーを追加します。

Hopper アーキテクチャをベースとし、NVIDIA H200 Tensor Core GPU と高度なビデオ メモリを搭載しているため、生成 AI や高性能コンピューティング ワークロード向けに膨大な量のデータを処理できます。

NVIDIA H200 は HBM3e を使用する最初の GPU であり、最大 141 GB のビデオ メモリを備えています。

A100 と比較すると、H200 は容量がほぼ 2 倍、帯域幅が 2.4 倍になります。 H100 と比較すると、H200 の帯域幅は 3.35TB/s から 4.8TB/s に増加しました。

Nvidiaの大規模および高性能コンピューティング担当副社長、イアン・バック氏は次のように述べています。

生成 AI と高性能コンピューティング アプリケーションを使用してインテリジェンスを作成するには、大量のデータを迅速かつ効率的に処理するための大容量の高速 GPU メモリが必要です。 H200 により、業界をリードするエンドツーエンドの AI スーパーコンピューティング プラットフォームがさらに高速化し、世界で最も重要な課題のいくつかに対するソリューションが可能になります。

Llama 2の推論速度がほぼ100%向上

Hopper アーキテクチャは、前世代のアーキテクチャと比較して、前例のないパフォーマンスの飛躍を達成しており、H100 の継続的なアップグレードと TensorRT-LLM の強力なオープンソース ライブラリにより、パフォーマンス基準が継続的に引き上げられています。

H200 のリリースによりパフォーマンスが次のレベルに引き上げられ、Llama2 70B モデルの推論速度が H100 のほぼ 2 倍に向上しました。

H200 は、H100 と同じ Hopper アーキテクチャに基づいています。つまり、H200 には、新しいビデオ メモリ機能に加えて、Transformer アーキテクチャに基づく LLM やその他のディープラーニング モデルを高速化できる Transformer Engine など、H100 と同じ機能も備わっています。

HGX H200 は、NVIDIA の NVLink および NVSwitch 高速相互接続テクノロジを採用しています。8 ウェイの HGX H200 は、32 ペタフロップスを超える FP8 ディープラーニング コンピューティング パワーと 1.1 TB の超高ビデオ メモリ帯域幅を提供できます。

H200 を H100 に置き換えて NVIDIA Grace CPU と併用すると、大規模な HPC および AI アプリケーション向けに特別に設計されたコンピューティング モジュールである、より強力な GH200 Grace Hopper スーパーチップが形成されます。

H100と比較して、H200のパフォーマンス向上がどこに反映されているかを詳しく見てみましょう。

まず、H200 のパフォーマンス向上は、主に大規模モデルの推論パフォーマンスに反映されています。

前述の通り、Llama 2のような大規模な言語モデルを処理する場合、H200の推論速度はH100の約1倍高速です。

コンピューティングコアの更新は大きくないため、サイズ 175B の GPT-3 のトレーニングを例にとると、パフォーマンスの向上は約 10% になります。

メモリ帯域幅は、データ転送を高速化し、複雑なタスクの処理ボトルネックを軽減するため、高性能コンピューティング (HPC) アプリケーションにとって重要です。

シミュレーション、科学研究、人工知能などのメモリを大量に消費する HPC アプリケーションの場合、H200 のより高いメモリ帯域幅により、データに効率的にアクセスして操作できるため、CPU と比較して結果までの時間が最大 110 倍速くなります。

H200 は、H100 と比較して、高性能コンピューティング アプリケーションの処理性能も 20% 以上向上しています。

ユーザーにとって非常に重要な推論エネルギー消費に関しては、H200 は H100 と比較して半分に削減されています。

このようにして、H200 はユーザーの使用コストを大幅に削減し、ユーザーが「より多く購入して、より多く節約」し続けることを可能にします。

先月、海外メディアのSemiAnalysisは、待望のH200、B100、および「X100」GPUを含む、今後数年間のNvidiaのハードウェアロードマップを公開した。

NVIDIA は公式の製品ロードマップも発表しており、同じアーキテクチャを使用して 3 つのチップを設計し、来年と再来年も B100 と X100 を発売し続ける予定です。

B100、パフォーマンスは無限大

今回、NVIDIAは公式発表で新型H200とB100を発表し、これまでの2年ごとのデータセンターチップ更新レートを2倍にしました。

推論用のパラメータが1750億個あるGPT-3を例にとると、今年発売されたばかりのH100は前身のA100に比べて11倍の性能を持っています。来年発売されるH200はH100に比べて60％以上の性能向上が見込まれ、B100ではさらに性能が良くなります。

この時点で、H100 は最も短い在籍期間を持つ「フラッグシップ」 GPU になりました。

H100 が今やテクノロジー業界の「金」であるならば、Nvidia は「プラチナ」と「ダイヤモンド」を生み出すことに成功した。

H200のサポートにより、新世代のAIスーパーコンピューティングセンターが大量に登場しています。

クラウドサービスに関しては、Nvidia自身が投資しているCoreWeaveとLambdaに加え、Amazon Web Services、Google Cloud、Microsoft Azure、Oracle Cloud InfrastructureがいずれもH200ベースのインスタンスを展開する最初のサプライヤーとなる。

さらに、新しい H200 のサポートにより、GH200 スーパーチップは、世界中のスーパーコンピューティング センターに合計約 200 エクサフロップスの AI コンピューティング能力を提供し、科学的イノベーションを促進します。

SC23 カンファレンスでは、いくつかのトップ スーパーコンピューティング センターが、GH200 システムを使用して独自のスーパーコンピューターを構築することを発表しました。

ドイツのユーリッヒ スーパーコンピューティング センターは、JUPITER スーパーコンピューターに GH200 スーパーチップを使用します。

このスーパーコンピュータは、ヨーロッパ初のエクサスケール スーパーコンピュータとなり、EuroHPC 共同事業の一部となります。

Jupiter スーパーコンピューターは、Eviden の BullSequana XH3000 をベースにしており、完全な液体冷却アーキテクチャを採用しています。

合計 24,000 個の Nvidia GH200 Grace Hopper スーパーチップが搭載されており、Quantum-2 Infiniband で相互接続されています。

各 Grace CPU には 288 個の Neoverse コアが含まれており、Jupiter の CPU には約 700 万個の ARM コアが含まれています。

93 エクサフロップスの低精度 AI コンピューティング能力と 1 エクサフロップスの高精度 (FP64) コンピューティング能力を提供できます。スーパーコンピューターは2024年に設置される予定です。

筑波大学と東京大学が共同で設立した日本先端高性能計算共同研究センターは、次世代スーパーコンピュータに NVIDIA GH200 Grace Hopper スーパーチップを採用します。

世界最大級のスーパーコンピューティング センターの 1 つであるテキサス先端コンピューティング センターも、スーパーコンピューター Vista の構築に NVIDIA の GH200 を使用する予定です。

イリノイ大学アーバナ・シャンペーン校の国立スーパーコンピューティング応用センターは、NVIDIA の GH200 スーパーチップを使用してスーパーコンピューター DeltaAI を構築し、AI コンピューティング能力を 3 倍にします。

さらに、英国政府からの資金提供により、ブリストル大学は英国で最も強力なスーパーコンピューター「Isambard-AI」の構築を担当します。このスーパーコンピューターは、5,000 個を超える NVIDIA GH200 スーパーチップを搭載し、21 エクサフロップスの AI コンピューティング能力を提供します。

Nvidia、AMD、Intel: 3つの巨人がAIチップをめぐって争う

GPU競争も熾烈な局面に突入しました。

H200 に対抗するため、古くからのライバルである AMD は、近日発売予定のキラーウェポンである Instinct MI300X を使用してビデオメモリのパフォーマンスを向上させる予定です。

MI300X には 192GB の HBM3 と 5.2TB/s のメモリ帯域幅が搭載され、容量と帯域幅の点で H200 をはるかに上回ります。

インテルはGaudi AIチップのHBM容量の増強にも取り組んでおり、来年発売予定の第3世代Gaudi AIチップでは前世代の96GB HBM2eから144GBに増加すると述べた。

Intel の Max シリーズの現在の最大 HBM2 容量は 128GB ですが、Intel は将来の世代で Max シリーズ チップの容量を増やす予定です。

H200 価格不明

それで、H200 の価格はいくらですか? Nvidiaはまだ発表していない。

H100 の価格は 25,000 ～ 40,000 米ドルであることを知っておく必要があります。 AI モデルのトレーニングには少なくとも数千ドルかかります。

以前、AI コミュニティでは「GPU はいくつ必要か？」という図が広く流布されていました。

GPT-4 は約 10,000 ～ 25,000 個の A100 でトレーニングされ、Meta には約 21,000 個の A100 が必要でした。Stability AI には約 5,000 個の A100 が使用され、Falcon-40B のトレーニングには 384 個の A100 が使用されました。

マスク氏によると、GPT-5には3万〜5万個のH100が必要になる可能性がある。モルガン・スタンレーは、GPU は 25,000 台だと言っています。

サム・アルトマン氏はGPT-5のトレーニングを否定したが、「OpenAIは深刻なGPU不足に陥っており、当社の製品を使用する人が少なければ少ないほど良い」と述べた。

私たちが知っているのは、H200 が来年の第 2 四半期に発売されると、間違いなく新たな嵐が巻き起こるだろうということです。