黄氏の最新インタビュー：チップ不足はなかなか解消されず、次のトランスフォーマーはすでに登場している

Nvidia の GPU が世界を席巻しています。

テクノロジー企業は、Nvidia のスーパーコンピューティング GPU に対して飽くことのない欲求を抱いています。

Nvidia はもはや、ゲーム用グラフィック カード向けのグラフィック レンダリング サービスだけを提供する会社ではありません。現在、Nvidia は GPU で新しい時代を築いています。

人間はコンピュータと会話することができ、コンピュータは人間と会話することができます。そして最終的には、コンピューターが人間を超える可能性もあります。

WIEDは最近、黄仁鉉氏との独占インタビューを実施した。インタビュー中、黄氏はユーモアと知恵を駆使して、自分自身とNvidiaの過去と未来に関するほぼすべての質問に答えた。

61歳の黄氏はトレードマークのレザージャケットとミニマルな黒のスニーカーで登場した。

彼は、日曜日に丸一日働かなければならず、週の初めに疲れてしまうので、月曜日の朝が嫌いだと語った。

2012 年、少数の研究者グループが、CPU ではなく GPU を使用してコードを実行する画期的な画像認識システムである AlexNet を立ち上げ、ディープラーニングの新時代を切り開きました。

老黄氏は直ちに同社にAI分野への本格参入を指示した。

2017年にGoogleがTransformer（ChatGPTの「T」）と呼ばれる新しいニューラルネットワークアーキテクチャをリリースし、現在のAIブームに火をつけたとき、Nvidiaはすでにその競馬の地位を完璧に果たし、AI向けに設計されたGPUをテクノロジーに飢えた企業に販売し始めていました。

Nvidiaは現在、AIチップ市場における売上の70％以上を占めており、時価総額は2兆ドルに近づいています。

2023年第4四半期の収益は220億ドルに達し、前年比265%増加した。

同社の株価は過去1年間で231%上昇した。黄氏は、自分がやっていることに対して並外れた洞察力を持っていたか、非常に幸運だったか、あるいはその両方だったのでしょう。そして誰もが彼の成功の秘密を知りたがっています。

しかし、誰も永遠にトップに居続けることはできません。現在、彼は米中ハイテク戦争と規制当局からの圧力にさらされている。

AIチップ分野における黄氏の競合企業には、グーグル、アマゾン、メタ、マイクロソフトといった、テクノロジー業界で最も資金力のある企業の1つである有名な大企業がある。

昨年12月、半導体企業AMDは、Nvidiaに対抗することを目的とした大型AIコンピューティングプロセッサを発売した。

スタートアップ企業もNvidiaをターゲットにしている。昨年の第3四半期だけでも、ベンチャーキャピタリストはAIチップ分野に8億ドル以上を投資した。

だから、老黄は決して止まらない。

良いストーリーを伝えることは良いビジネスを築く鍵です

ラオ・ファン：「私たちはスタンフォード大学の卒業生です。」

インタビュアー：はい、その通りです。私はジャーナリズムを学びましたが、あなたは学びませんでした。

「ジャーナリズムを勉強しておけばよかった。」

Q: なぜそうおっしゃるのですか?

「なぜなら、私が心から尊敬するリーダーであり人物の一人であるアドビのCEO、シャンタヌ・ナラヤンは、かつて、物語を語るのが好きだったので、ずっとジャーナリストになりたかったと言っていたからです。」

「会社のストーリーを効果的に伝えることは、ビジネスを構築する上で重要な部分であるように思われます。戦略を構築することはストーリーテリングです。文化を構築することはストーリーテリングです。」

Q: あなたは、Nvidia のアイデアを売り込むためにプレゼンテーションを利用しなかったと何度も言っています。

「その通り。あなたがすべきことは、良い物語を語ることだけです。」

Q: そこで、別のテクノロジー企業の幹部が私に言った言葉から始めたいと思います。同氏は、Nvidia は Amazon より 1 年古いが、多くの点で Amazon よりも「Day 1」感があると述べた。この考え方をどうやって維持するのですか?

「それは本当にいい表現ですね。私たちは常に、これまでにない何かをやっているので、毎日目覚めると 1 日目のような気分になります。」

「これは脆弱性でもあります。失敗する可能性もあります。ちょうど今、会社にとってまったく新しいことを試している会議に出席していましたが、まだそれを適切に実行する方法がわかりませんでした。」

Q: その新しいものは何ですか?

「私たちは、AIファクトリーと呼んでいる新しいタイプのデータセンターを構築しています。今日のデータセンターの構築方法とは異なり、このような大規模なデータセンターでは、多くの人がコンピューターのクラスターを共有し、ファイルを保存します。」

「AIファクトリーのコンセプトは、発電所のようなものです。非常にユニークです。過去数年にわたって構築してきましたが、今はそれを製品に変える必要があります。」

Q: 何という名前になりますか？

「まだ名前は決まっていません。でも、どこにでも存在するようになるでしょう。クラウド サービス プロバイダーが構築し、私たちも構築します。将来、すべてのバイオテクノロジー企業がそれを必要とするでしょう。将来、すべての小売企業、すべての物流企業、すべての自動車企業が工場を持つようになるでしょう。物理的な商品を製造する工場と、自動車用の AI を製造する工場です。」

「イーロン・マスクが実際にこれを実行しているのがわかります。彼は産業企業の将来がどうなるかについての考えにおいて、ほとんどの人よりはるかに先を行っています。」

Q: 以前、情報の流れに直接関わりたいため、直属の上司に30～40人の幹部が集まるフラットな組織を運営しているとおっしゃっていましたね。最近あなたの注目を集め、「ついにこれにNvidiaを賭ける必要があるかもしれない」と思ったものは何ですか？

「電子メールやテキストメッセージなどのツールがなかった旧石器時代のように、情報は組織のトップから下に流れていく必要はありません。今では情報の流れははるかに速くなっています。したがって、上から下に情報を渡す階層構造はもはや必要ありません。フラットなネットワークにより、変化に素早く適応できます。これは、テクノロジーが急速に進歩している現在では非常に重要です。」

「Nvidia のテクノロジーの軌跡を見ると、従来ムーアの法則は数年ごとに倍増してきました。しかし、過去 10 年間で、AI の能力は約 100 万倍に増加しました。これは、ムーアの法則の成長率よりもはるかに速いものです。指数関数的に成長する世界では、情報が最上位層から最下位層に伝播することは望ましくありません。」

黄氏の視点から見る未来：空間モデルがすべてを統合する

Q: でも、私が聞きたいのは、あなたにとっての「ローマ帝国」とは何ですか?これは比喩です。今日のTransformerの論文は何ですか？状況を変えるような出来事が今起きていると思いますか?

「いくつかあります。そのうちの1つはまだ名前がついていませんが、それは私たちが基礎ロボット工学で行っている研究の一部です。」

「テキストや画像を生成できるなら、動きも生成できるでしょうか？ 答えはおそらくイエスです。そして動きを生成できれば、意図を理解し、一般的な表現形式を生成することができます。ですから、ヒューマノイドロボットはもうすぐ登場するはずです。」

「計算量が2乗的に増加することなく、非常に長いパターンやシーケンスを学習できる状態空間モデル（SSM）に関する研究が、次のトランスフォーマーになる可能性があると思います。」

Q: これにより何ができるようになりますか?実際の事例はありますか?

「コンピューターと非常に長い会話をしても、その会話の文脈は決して忘れられません。一時的に話題を変えて、前の話題に戻っても、その文脈は保持されます。」

「人間のゲノムのような非常に長い鎖を理解できるかもしれません。遺伝子コードを見るだけで、それが何を意味するのか理解できるかもしれません。」

Q: これを達成するのにどれくらい近づいていますか?

「過去には、AlexNet が誕生してから超人的な AlexNet が誕生するまでに約 5 年かかりました。ロボット工学のベース モデルは、おそらくそれほど遠くない将来、来年のいつかには実現するでしょう。そこから 5 年後には、本当に驚くべきことが起こるでしょう。」

Q: 幅広くトレーニングされたロボット行動モデルから最も恩恵を受ける可能性のある業界はどれですか?

「そうですね、重工業は世界最大の産業です。電子を動かすのは比較的簡単ですが、原子を動かすのは極めて困難です。」

「輸送、物流、重い物をある場所から別の場所へ移動すること、次の薬を発見すること、これらすべてには原子、分子、タンパク質に対する深い理解が必要です。これらは AI がまだ手を付けていない巨大で素晴らしい産業です。」

Q: ムーアの法則についてお話しました。もう適用されないのでしょうか?

「ムーアの法則は、現在ではチップの問題というよりもシステムの問題です。複数のチップ間の相互接続性に関する問題です。約 10 ～ 15 年前、私たちはコンピューターを分解して複数のチップを接続できるようにする取り組みを始めました。」

Q: 2019 年にイスラエルの Mellanox 社を買収したのはそのためですか? Nvidiaは当時、現代のコンピューティングはデータセンターに多大な要求を課しており、Mellanoxのネットワーク技術は高速コンピューティングをより効率的にするだろうと述べていた。

「その通りです。当社は、自社のチップをデータセンター全体用のスーパーチップに拡張し、最新の AI スーパーコンピューターを実現するため、Mellanox を買収しました。これは、ムーアの法則は終わったという認識に基づいており、コンピューティング能力の拡張を継続するには、データセンター レベルで実行する必要があると認識したためです。」

「私たちはムーアの法則の定式化を再検討し、これを限界にしてはならないと言いました。ムーアの法則はコンピューティングの限界ではありません。私たちはムーアの法則を超えて、スケーリングするための新しい方法を見つけなければなりません。」

Q: 現在、Mellanox は Nvidia による非常に賢明な買収とみなされています。最近では、世界で最も重要なチップ IP 企業の 1 つである Arm の買収を試みましたが、規制当局に阻止されました。

「それは素晴らしい買収だっただろう。」

Q: 米国政府が同意するかどうかは分かりませんが、今はそれについては議論しないでおきます。現在、買収について考える際、具体的にどのような分野に注目していますか?

「こうした大規模システムのオペレーティング システムは非常に複雑です。GPU 内の数千万、数億、そして現在では数十億に迫る小さなプロセッサを調整するオペレーティング システムとコンピューティング スタックをどうやって作成するか。これは非常に難しい問題です。この問題に取り組んでいる社外のチームがあれば、私たちは彼らと協力するか、さらに一歩先に進むかを選択できます。」

Q: あなたの話からすると、Nvidia がオペレーティング システムを持ち、それをより完全なプラットフォームに進化させることが重要だということが分かりますね。

「私たちはプラットフォーム企業です。」

Q: プラットフォームに深く関わるほど、直面する課題も増えます。人々はプラットフォームの成果物に対してより責任を負わせる傾向があります。自動運転車の動作、医療機器の誤差、AI システムのバイアスなど。これらの課題にどのように対処しますか?

「当社はアプリケーション企業ではありません。おそらくこれが最も単純な説明でしょう。当社はできることをしていますが、できるだけ 1 つの業界に限定してサービスを提供しています。たとえば、ヘルスケア分野では、新薬の発見は当社の得意分野ではありませんが、コンピューティングは得意です。」

「自動車を作るのは私たちの専門ではありませんが、AIに優れた車載コンピューターを作るのは私たちの専門です。正直に言うと、1つの会社がこれらすべての分野で優れているのは難しいですが、AIコンピューティングでは非常にうまくやることができます。」

チップ不足はいつ終わるのでしょうか?わかりません。新製品を発売する予定だからです。

Q: 昨年、一部の顧客が AI GPU の入手に数か月も待っていたという報告がありました。今の状況はどうですか？

「そうですね、今年は注文に応じられないかもしれません。来年になるかもしれません。」

Q: 現在の待ち時間はどれくらいですか?

「よく分かりません。でも、今年は私たちにとっても新しい時代の始まりです。」

Q: 噂されている新しい GPU、Blackwell のことですか?

「その通りです。新世代の GPU が登場しており、Blackwell は素晴らしいものになるでしょう。本当に素晴らしいものになるでしょう。」

Q: これは、顧客が必要とする GPU が少なくなることを意味しますか?

「それが私たちの目標です。モデルのトレーニングコストを大幅に削減することが目標です。そうすれば、人々はトレーニングしたいモデルをスケールアップできるようになります。」

Q: Nvidia は多くの AI スタートアップ企業に投資しています。昨年は30社以上に投資したと報道されました。これらのスタートアップは、ハードウェアを待つ間、優先されるのでしょうか?

「ほとんどの企業がパブリック クラウドを使用しているため、他の企業と同様に GPU 供給の制約に直面しており、パブリック クラウド サービス プロバイダーと自ら交渉する必要があります。しかし、当社の AI テクノロジーのサポートは受けられるため、当社のエンジニアリング能力と AI モデルの最適化における特別なスキルを活用できます。」

「私たちは彼らの仕事をより効率的にします。スループットが 5 倍になれば、実際には GPU パフォーマンスも 5 倍になります。それが私たちから得られる利点です。」

Q: この点において、あなた自身がトレンドセッターだと思われますか?

「いいえ。私たちがこれらの企業に投資するのは、彼らがその事業で傑出しているからです。私たちが彼らに投資するのは特権であり、その逆ではありません。これらの企業は世界で最も優秀な人材です。彼らは私たちの支持を必要としていないのです。」

Q: 機械学習がトレーニングよりも推論へと移行するにつれて、つまり AI 作業の計算負荷が軽減されれば、GPU に対する需要は減りますか?

「私たちは推論が好きです。実際、現在のNvidiaのビジネスはおそらく推論70%、トレーニング30%だと思います。」

「これは良いことです。AIがようやく価値を生み出していることを意味します。Nvidiaのビジネスがトレーニング90%、推論10%だったとしたら、AIはまだ研究段階だと思われるかもしれません。7、8年前はそうでした。」

「しかし今日では、クラウドにプロンプ​​トを入力して何かを生成するたびに、それがビデオ、画像、2D、3D、テキスト、グラフであっても、その背後にNvidia GPUが存在している可能性が高くなります。」

「私たちは生成型 AI 革命の始まりにいると思います。現在、世界で行われている計算のほとんどは、依然として検索ベースです。」

取得とは、携帯電話でコマンドを出すと、クラウドに信号が送信され、メッセージが取得されることを意味します。複数の異なる要素を組み合わせて応答を作成し、Java テクノロジを使用して携帯電話の美しい画面に表示します。 「

「将来的には、計算は RAG に基づいて行われるようになります。検索ベースの生成は、大規模な言語モデルが通常のパラメータの範囲外のデータを取得できるようにするフレームワークです。検索部分は削減され、パーソナライズされた生成部分が大幅に増加します。」

「この生成はどこかの GPU によって行われるでしょう。ですから、私たちは検索ベースの生成コンピューティング革命の始まりにいると思います。そこでは、生成 AI がほぼすべてのものの不可欠な部分になります。」

輸出管理

Q: 最新のニュースでは、中国に輸出できる制裁に準拠したチップの開発に米国政府と協力しているとのことです。私の理解では、これらは最先端のチップではありません。中国でビジネスを継続できるようにするために、政府とどの程度緊密に連携していますか?

「まあ、一歩引いて考えてみると、これは輸出規制であって制裁ではありません。米国は、Nvidiaの技術とこのAIコンピューティングインフラが国にとって戦略的に重要であると判断しており、そのため輸出規制が適用されます。当社は、2022年8月という最初の機会に輸出規制に準拠しました。」

「米国は2023年に輸出規制を強化したため、当社は再び製品の再設計を余儀なくされました。そこで当社はそれを実行しました。当社は現在の輸出規制に準拠した新しい製品群を開発しています。当社のアプローチが政府の意図と一致していることを確認するために、政府と緊密に連携しています。」

Q: これらの制限により、中国が競合する AI チップの開発を加速させる可能性があると、どの程度懸念していますか?

「中国にはすでに競争力のある製品がある。」

「はい。データセンター規模の製品ではありませんが、昨年発売したファーウェイのスマートフォン『Mate 60』は自社開発のチップを搭載し注目を集めました。」

「ファーウェイは本当に素晴らしい会社です。同社が利用できる半導体処理技術には限界がありますが、それでもこうしたチップを多数統合することで非常に大規模なシステムを構築することができます。」

Q: しかし、全体的に見て、中国が生成AIの分野で米国に追いつくことができるかどうかについて、どの程度心配していますか?

「この規制は、中国が最先端の技術を獲得する能力を制限することになる。つまり、輸出規制に縛られていない西側諸国は、急速に進歩しているより優れた技術を利用できるようになるということだ。」

「ですから、この制限は中国に多大なコスト圧力をかけることになると思います。技術的には、より多くのチップ製造システムを統合して仕事をこなすことはいつでもできます。しかし、それは単にそれらのユニットのコストを増やすだけです。おそらく、これが最も簡単な考え方でしょう。」

Q: 中国で準拠チップを販売すると、台湾の半導体産業の誇りである TSMC との関係に影響が出るのではないかと心配していますか?

「いいえ。この規制は特定の措置なので、速度制限と何ら変わりありません。」

Q: スーパーコンピューターには 35,000 個の部品があり、そのうち 8 つは TSMC 製であると何度もおっしゃっていますね。これを聞いたとき、私はそれは非常に小さな割合に違いないと思いました。 TSMCへの依存を軽視していますか?

「いいえ、絶対に違います。」

Q: それで、その発言で何を言おうとしたのですか?

「私が強調したいのは、AIスーパーコンピューターを構築するには、他にも多くのコンポーネントが関係しているということです。実際、私たちのAIスーパーコンピューターでは、半導体業界のほぼすべてが私たちと協力しました。」

「当社は、サムスン、SK Hynix、インテル、AMD、ブロードコム、マーベルなどの企業と非常に緊密なパートナーシップを築いてきました。当社のAIスーパーコンピューターが成功すれば、多くの企業も当社とともに成功します。私たちはそのことを嬉しく思っています。」

Q: TSMC の Morris Chang 氏や Mark Liu 氏とどのくらいの頻度でコミュニケーションを取っていますか?

「いつも。ずっと。」

Q: 会話の内容は何でしたか?

「現在、私たちは主に高度なパッケージング技術について議論しており、今後数年間の高度なコンピューティング機能の能力を計画しています。CoWoS（チップモジュールとメモリモジュールを1つのパッケージに統合するTSMCの独自技術）には、新しい工場、新しい生産ライン、新しい設備が必要です。したがって、彼らのサポートは非​​常に重要です。」

Q: 最近、生成 AI に注力している CEO と話をしました。 Nvidia の将来の競合相手は誰になる可能性があるか尋ねたところ、その人物は Google の TPU を挙げました。他の人はAMDについて言及しました。おそらく他にも答えはあると思いますが、あなたにとって最大の競争相手は誰だと思いますか?あなたを眠れなくさせたのは誰ですか?

「彼らのせいで夜も眠れません。TPU チームは素晴らしいです。TPU チームは本当に素晴らしいです。AWS Trainium チームと AWS Inferentia チームも素晴らしいです。本当に素晴らしいです。」

「マイクロソフトでは、Maia と呼ばれる社内 ASIC の開発を進めています。」

「中国のクラウドサービスプロバイダーはどれも自社製チップを開発しており、さらに素晴らしいチップを製造しているスタートアップ企業や既存の半導体企業も数多くあります。誰もがチップを製造しています。」

「夜眠れなくなるようなことはすべきではありません。なぜなら、誰にも夜眠れなくなるほど疲れる仕事であることを確認する必要があるからです。それは本当に私がコントロールできる唯一のことなのです。」

「しかし、朝に私を間違いなく目覚めさせるのは、私たちが約束を果たし続けなければならないということです。私たちは、データセンター規模でフルスタックの AI スーパーコンピューターを構築するために誰もが協力できる世界で唯一の企業です。」

もし30年前に戻れるなら、すべてを犠牲にしてNvidiaを再び築き上げるだろう

Q: いくつか個人的な質問があります。 ChatGPTにあなたについて質問しました。次回会ったときにタトゥーを入れようと提案しようと思っていたので、タトゥーがあるかどうか気になりました。あなたがタトゥーを入れたら、私も入れますよ。

「私も持ってますよ。」

Q: はい。これは私がChatGPTから学んだことです。株価が100ドルに達したとき、黄氏は同社のロゴのタトゥーを入れたという。

そして、「しかし、黄氏は痛みが予想以上に強かったため、これ以上タトゥーを入れることはないだろうと語った」と書いてありました。泣いたと書いてありました。本当に泣いたんですか？

「まあ、そうですね。私のアドバイスとしては、タトゥーを入れる前にウイスキーを一杯飲むこと。あるいはアドビルを飲むこと。あと、私の娘はかなり大きなタトゥーを入れているので、女性の方が痛みに耐えられると思います。」

Q: 個人的に ChatGPT や Bard、または類似のツールをどのくらいの頻度で使用していますか?

私はPerplexityを使っています。 ChatGPTも好きです。ほぼ毎日使っています。

Q: 何に使われるのですか?

「研究です。例えば、コンピューター支援による新薬発見などです。コンピューター支援による新薬発見の最新の進歩を知りたいかもしれません。」

「トピック全体を取り上げてフレームワークを構築し、そのフレームワークからさらに具体的な質問をすることができます。私はこれらの大規模な言語モデルの性質が本当に気に入っています。」

Q: 昔はウェイトトレーニングをしていたと聞きました。まだ我慢してるの？

「いいえ。毎日腕立て伏せを40回するようにしています。ほんの数分でできます。歯磨きしながらスクワットもします。でも、私は運動が面倒なんです。」

Q: 最近、Acquired ポッドキャストであなたがしたコメントが大きな議論を呼びました。司会者は、もしあなたが今30歳で、起業を考えているなら、何を始めますか？と尋ねました。あなたは会社を立ち上げる方法が全く分からないと言っていました。これについて何か付け加えることはありますか?

「その質問には2通りの答え方がありますが、私はこう答えました。もし私が今知っていることをすべて当時知っていたら、私はそれを実行するのに怖すぎたでしょう。怖すぎたでしょう。私はそれを実行しなかったでしょう。」

「ビジネスを始めたいと思うには、ある程度の執着心と妄想が必要です。」

「それが無知の利点です。どれほど大変になるか、どれほどの痛みや苦しみが伴うか、全く分かりません。今、起業家に会って、彼らがどれほど簡単かと言うと、私は彼らをとても応援します。」

「私は実際に彼らの夢を打ち砕こうとは思っていません。でも、心の奥底では『ああ、これは彼らが考えているようなものではないだろう』と分かっています。 ”

Q: NVIDIA を運営する上で、これまで払わなければならなかった最大の犠牲は何だと思いますか?

「他の起業家が払う犠牲と同じです。本当に一生懸命働きます。長い間、誰もあなたが成功するとは思っていません。あなたは一人で成功すると信じています。不安、弱さ、時には屈辱感、これらはすべて現実です。誰もそれについて語りませんが、すべて現実です。CEO や起業家も他の人たちと同じ人間です。みんなの前で失敗すると恥ずかしいものです。」

「しかし、もし当時、Nvidia が今日のような会社になると知っていたら、私は会社を立ち上げたでしょうか。冗談でしょう。そのためにすべてを犠牲にしたでしょう。」