老黄が勝利！ Nvidia H100の注文は24年待ち、マスク氏も黙っていられない

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

大規模モデルの改良に最適な GPU であるNVIDIA H100が売り切れました!

今注文したとしても、使用できるようになるまで2024 年の第 1 四半期または第 2 四半期まで待たなければなりません。

これは、Nvidiaと密接な関係にあるクラウドメーカーCoreWeaveがウォールストリートジャーナルに明らかにした最新のニュースです。

4月初旬から供給が極端に逼迫しています。わずか 1 週間で、予想納期は妥当なレベルから年末まで跳ね上がりました。

世界最大のクラウドベンダーであるAmazon AWSもこのニュースを認めた。CEOのアダム・セリプスキー氏は最近次のように述べた。

A100 と H100 は最先端の技術であり、AWS でも入手が困難です。

以前、マスク氏はインタビュー番組で「 GPUは現在、Dグレード製品よりも入手困難だ」とも語った。

ダフ屋から購入する場合、プレミアムは25%にも達することがあります。

例えば、eBay での価格は工場出荷時の価格約 36,000 ドルから45,000 ドルに上昇しており、供給が不足しています。

このような状況下で、百度、バイトダンス、アリババ、テンセントなどの国内大手テクノロジー企業も、Nvidiaに総額50億ドル相当のA800などのチップを発注している。

今年中に輸送できるのは貨物の10億ドル分のみで、残りの80％は2024年まで待たなければならない。

では、既存のハイエンド GPU は誰に販売されているのでしょうか?この生産能力の波はどこで止まっているのでしょうか?

H100 を誰に販売するかについて、最終決定権は黄氏にある。

ChatGPTの流行以降、大規模モデルのトレーニングに長けたNVIDIA A100やH100が人気を博しました。

H100でもスタートアップが投資ファンドから住宅ローンを取得するための資産として活用できます。

OpenAIやMetaに代表されるAI企業、AmazonやMicrosoftに代表されるクラウドコンピューティング企業、プライベートクラウドのCoreweaveやLambda、そして独自の大規模モデルを改良したいあらゆるテクノロジー企業から大きな需要があります。

しかし、誰に販売するかは基本的にNvidiaのCEOであるジェンスン・フアン氏が決定する。

The Information によると、H100 の供給が非常に不足しているため、Nvidia はCoreWeave に大量の新しいカードを割り当て、Amazon や Microsoft などの既存のクラウド コンピューティング企業への供給を限定しているとのこと。

(Nvidia も CoreWeave に直接投資しました。)

外部の分析によると、これらの古い企業は独自の AI アクセラレーション チップを開発しており、Nvidia への依存を減らしたいと考えています。そのため、Huang 氏は彼らを支援することになるでしょう。

フアン氏はまた、NVIDIA の日常業務のあらゆる側面を管理しており、 「営業担当者が小規模な潜在的顧客に何を言う準備をしているかを確認する」ことまで行っている。

同社全体で約40人の幹部が黄氏に直接報告しており、これはMetaのマーク・ザッカーバーグ氏とマイクロソフトのナダル氏を合わせた人数よりも多い。

元NVIDIAのマネージャーは、「NVIDIAでは、ジェンスン・フアンが実際にすべての製品の最高製品責任者を務めている」と明かした。

少し前に、黄氏が誇張した行動をとったと報じられた。同氏は、GPU のエンドユーザーが誰なのかを調べるために、いくつかの小規模クラウド コンピューティング企業に顧客リストを提供するよう依頼したのだ。

外部のアナリストは、この動きによってNVIDIAは自社製品に対する顧客の需要をよりよく理解できるようになるとみているが、一方でNVIDIAがこの情報を利用してさらなる利益を得るかもしれないという懸念も生じている。

また、黄氏は誰が実際にカードを使用しているのか、誰がただカードを溜め込んでいるのかを知りたいと考えているのも別の理由だと考える人もいる。

なぜ今、Nvidia と Huang がこれほど大きな発言力を持っているのでしょうか?

主な理由は、ハイエンド GPU の需要と供給のバランスがあまりにも悪いためです。GPU Utils の Web サイトの推定によると、H100ギャップは 430,000 にも上ります。

著者のクレイ・パスカル氏は、さまざまな既知の情報や噂に基づいて、AI業界のさまざまな参加者が近い将来に必要とするH100の数を推定しました。

AI企業向け:

• OpenAIはGPT-5のトレーニングに5万個のH100を必要とする可能性がある
• メタには10万必要と言われている
• InflectionAIの22,000枚のコンピューティングクラスター計画が発表されました
• Anthropic、Character.ai、欧州のMistraAI、HelsingAIなどの主要なAIスタートアップは、それぞれ1万個規模の需要がある。

クラウド コンピューティング企業の場合:

• 大規模なパブリッククラウドでは、Amazon、Microsoft、Google、Oracleがいずれも3万と計算され、合計12万となる。
• CoreWeaveとLambdaを合わせたプライベートクラウドの総コストは100,000

合計は432,000です。

これには、独自のコンピューティング クラスターの導入を開始した JPMorgan Chase や Two Sigma などの金融会社や業界の他の参加者は含まれません。

そこで疑問なのは、供給ギャップがこれほど大きいのに、もっと生産できないのか、ということです。

老黄もそうしたかったが、生産能力が行き詰まっていた。

今回、生産能力が滞っているのはどこでしょうか？

実際、TSMCはすでにNvidia向けの生産計画を一度調整している。

しかし、それでも大きなギャップを埋めることはできませんでした。

エヌビディアのDGXシステム担当副社長兼ゼネラルマネージャーのチャーリー・ボイル氏は、今回の問題はウエハーではなく、TSMCのCoWoSパッケージング技術の生産能力がボトルネックに遭遇したことだと語った。

TSMCの生産能力をめぐってNvidiaと競争しているのはAppleであり、9月の発表会までに次世代iPhone用のA17チップを完成させる必要がある。

TSMCは最近、パッケージングプロセスのバックログを正常に戻すには1年半かかると予想していると述べた。

CoWoSパッケージング技術はTSMCの代表的な技術であり、TSMCがサムスンを打ち負かしてAppleの独占チップファウンドリになれた理由でもある。

このテクノロジーを搭載した製品は高性能で信頼性が高く、H100 は 3TB/秒(またはそれ以上)の帯域幅を実現できます。

CoWoS の正式名称は Chip-on-Wafer-on-Substrate であり、ウェハレベルでのチップ統合技術です。

この技術により、わずか 100μm の厚さのシリコンインターポーザ上に複数のチップをパッケージ化できます。

次世代インターポーザーの面積はレチクルの6倍、約5000mm²になると報じられている。

今のところ、このレベルのパッケージング能力を持つメーカーは TSMC 以外にはありません。

CoWoS は確かに強力ですが、これなしでもやっていけるのでしょうか?他のメーカーでもOEMできますか？

言うまでもなく、Huang 氏はすでに「2 番目の H100 ファウンドリを追加することは検討していない」と述べています。

現実的な観点から言えば、それは不可能かもしれません。

Nvidia はこれまで Samsung と提携してきましたが、Samsung は Nvidia 向けに H100 シリーズ製品やその他の 5nm プロセス チップを製造したことはありませんでした。

これを踏まえると、サムスンの技術レベルは最先端のGPUに対するNvidiaのプロセス要件を満たすことができないのではないかと推測する人もいる。

Intelに関しては、5nm製品はまだリリースされていないようです。

Huang 氏にメーカーの変更を依頼しても効果がない場合は、ユーザーが直接 AMD に切り替えるのはどうでしょうか?

AMD、そうですか？

パフォーマンスについてのみ言えば、AMD は確かにゆっくりと追いついています。

AMD の最新の MI300X は、192 GB の HBM3 メモリ、5.2 TB/秒の帯域幅を備え、800 億のパラメータ モデルを実行できます。

Nvidia が新たにリリースした DGX GH200 には、141GB の HBM3e メモリと 5TB/s の帯域幅が搭載されています。

しかし、これはAMDがNカードのギャップをすぐに埋められることを意味するわけではない――

Nvidia の真の「堀」は CUDA プラットフォームにあります。

CUDA は完全な開発エコシステムを確立しており、ユーザーが AMD 製品を購入した場合、デバッグにさらに長い時間が必要になります。

プライベートクラウド企業の幹部は、10,000 個の AMD GPU を導入する実験に 3 億ドルを費やすリスクを冒す人はいないと語った。

幹部は、開発とデバッグのサイクルには少なくとも 2 か月かかる可能性があると考えています。

AI 製品の急速な更新とアップグレードを背景に、2 か月のギャップはどのメーカーにとっても致命的となる可能性があります。

しかし、マイクロソフトは AMD に和解の手を差し伸べた。

マイクロソフトがAMDと共同で「Athena」というコードネームのAIチップを開発する準備をしているという噂がある。

以前、MI200 がリリースされたとき、マイクロソフトは最初にその購入を発表し、自社のクラウド プラットフォーム Azure に導入しました。

たとえば、MSRA の新しい大規模モデル インフラストラクチャ RetNet は、しばらく前に 512 個の AMD MI200 でトレーニングされました。

NVIDIA が AI 市場のほぼすべてを占めている状況では、他社が追随する前に、誰かが先導して大規模な AMD コンピューティング クラスターのプロトタイプを作成する必要があるかもしれません。

ただし、短期的には、NVIDIA H100 と A100 が依然として最も主流の選択肢です。

もう一つ

Apple が少し前に最大 192GB のメモリをサポートする新しい M2 Ultra チップをリリースしたとき、多くの実践者がそれを使用して大規模なモデルを微調整することを楽しんでいました。

結局、AppleのMシリーズチップはメモリとビデオメモリが一体化しています。メモリ192GBはビデオメモリ192GBを意味しますが、80GBのH100の2.4倍、24GBのRTX4090の8倍です。

しかし、実際にこのマシンを購入してテストしてみると、トレーニング速度はNVIDIA RTX3080TIほど良くなく、トレーニングどころか微調整するにも費用対効果が低いことが判明しました。

結局のところ、M シリーズ チップの計算能力は AI コンピューティングに特に最適化されていないため、Everbright ビデオ メモリは役に立ちません。

大規模なモデルを改良するには、依然として H100 が主な頼みの綱であるように思われ、H100 こそが私たちに必要なものです。

このような状況に直面して、インターネット上では魔法のような「GPU ソング」さえ出回っています。

非常に洗脳的なので、注意して読んでください。

GPU ソング ホーム https://www.youtube.com/watch?v=YGpnXANXGUg