NVIDIA GPU が一戦で神となる!黄仁訓は人工知能に賭け、1兆ドル規模のグラフィックカード帝国を築く

AlexNet ニューラル ネットワークから ChatGPT、生成 AI の爆発的な増加まで、NVIDIA の GPU は消えることのない貢献を果たしてきました。

この AI ゴールドラッシュで、Nvidia の時価総額は急上昇し、1 兆ドルクラブに名を連ね、時価総額で世界第 6 位の企業となりました。

Nvidia の成功について語るなら、その中心人物である Huang Renxun について触れなければなりません。

スティーブ・ジョブズやビル・ゲイツのようなテクノロジー界の巨人たちの物語は誰もが知っているが、革ジャン以外では公の場に姿を見せることを常に嫌がる黄氏についてはあまり知らない。

今回、ニューヨーカー誌の最新インタビューでは、黄氏の起業家としての軌跡、経営スタイル、そして彼がいかにしてNvidiaを成功に導いたかについて深く掘り下げています。

黄老の幼少時代

黄仁鈞は1963年に台湾で生まれました。9歳のとき、彼と弟はケンタッキー州にあるオナイダ・バプテスト大学で学ぶためにアメリカに送られました。

黄さんは17歳のルームメイトと暮らしており、ベンチプレスを教える代わりにルームメイトに読み方を教えていた。黄仁鉉さんは毎晩寝る前に腕立て伏せを100回行います。

黄さんは学校に通うには幼すぎたため、近くの公立学校に通った。

当時、校長は、背が低く髪が長く、訛りが強いこのアジア系移民を皆に紹介しました。しかし、まさにこうした特徴のせいで、黄仁鉉はクラスメイトからいじめを受けることになったのです。

数年後、黄仁鉉の両親は米国への入国を許可され、オレゴンに定住し、そこで兄弟は両親と再会した。

黄仁鉉は高校時代は成績優秀で、全国ランキング入りした卓球選手だった。彼は学校の数学、コンピューター、科学のクラブに参加し、2学年飛び級して16歳で卒業した。 ——でも彼は「僕は彼女がいない」とも言っていました。

その後、黄仁鈞はオレゴン州立大学に入学し、電子工学を専攻しました。

入門クラスでは、彼の研究室のパートナーはロリ・ミルズでした。彼女は真面目で可愛らしく、茶色の巻き毛をしていました。

黄仁訓さんの記憶によると、当時電子工学専攻の学生は250人いて、そのうち女子は3人ほどだったそうです。少年たちはミルズ氏の注目を引こうと競い合い、黄氏は不利な立場にあると感じた。 「私はクラスで一番年下だったので、見た目は12歳くらいでした。」

——しかし、毎週末、黄仁鉉はミルズに電話をかけ、一緒に宿題をやるようにせがんでいた。

「私は自分の外見ではなく、課題をやり遂げる能力で彼女に感銘を与えたかったのです。」

6か月間の勉強を経て、黄仁鉉は勇気を出して彼女をデートに誘った。彼女はその招待を受け入れた。

卒業後、フアンさんとミルズさんはシリコンバレーでマイクロチップ設計者としての職を見つけた。「実際、彼女のほうが私より稼いでいました。」

二人は後に結婚し、数年後、ミルズは子供を育てるために仕事を辞めた。当時、黄氏はすでに自分の部署を運営し始めており、夜間はスタンフォード大学の大学院に通っていた。

3人がレストランから事業を始めた

1993年、彼は2人のベテランマイクロチップ設計者、クリス・マラコウスキー氏とカーティス・プリーム氏とともにNvidiaを共同設立した。

Malachowsky 氏と Priem 氏はグラフィック チップを設計したいと考えていました。当初、彼らは会社をNVisionと名付けましたが、後にその名前がす​​でにトイレットペーパー製造会社によって使用されていることを知りました。

Huang Renxun 氏は、ラテン語で「嫉妬」を意味する i NVIDIA に由来する NVIDIA を使用することを提案しました。彼がデニーズをビジネスの会場として選んだのは、自宅よりも静かでコーヒーが安かったからだ。

彼は1980年代にオレゴン州のレストランチェーンで働いていた。 「私は逆境の時に自分の頭が最もよく働くことに気づきました。」

黄氏はビデオゲームが大好きで、市場にはより優れたグラフィックチップが必要だと考えていました。アーティストたちは、手でピクセルを描くのではなく、「プリミティブ」と呼ばれる形状から 3D ポリゴンを組み立て始めました。これにより時間と労力は節約できましたが、新しいチップが必要になりました。

Nvidia の競合他社は三角形をプリミティブとして使用していましたが、Huang 氏とそのチームは代わりに四辺形を使用することを決定しました。 — しかし、これは間違いであることが判明し、会社はほぼ破滅しました。なぜなら、Nvidia が最初の製品をリリースした直後に、Microsoft は、そのグラフィック ソフトウェアは三角形のみをサポートすると発表したからです。

資金不足のため、黄仁勲は伝統的な三角形のアプローチに戻ることを決定しました。 1996年、彼はNVIDIAの100人以上の従業員の半数を解雇し、その後、会社の残りの資本を、成功するかどうか確信が持てない未テストのマイクロチップの製造に賭けた。

——「成功と失敗の確率は50対50ですが、いずれにせよ倒産します。」

RIVA 128と呼ばれるこの製品が市場に登場したとき、Nvidiaには1か月分の給料を支払うのに十分な資金があった。しかし、その賭けは成功し、Nvidia は 4 か月で RIVA を 100 万台販売しました。

黄氏は、従業員が絶望的な状況にあるにもかかわらず、製品の出荷を続けるよう激励した。その後の数日間、黄氏は従業員にスピーチをするたびに、「わが社は30日以内に倒産する」と冒頭で述べた。このフレーズは今日に至るまで同社の非公式のモットーとして残っています。

サンタクララにあるNvidia本社の中心には、それぞれ三角形の形をした2つの巨大な建物があります。ソファやカーペットから小便器の飛沫防止ガードに至るまで、建物の内部全体がこの形状の縮図となっています。

各ビルの最上階にはバーがあり、従業員はオフィスを食事やコーディング、交流ができる柔軟なスペースとして活用することが奨励されています。従業員が会議テーブルで食事をした場合、AI は 1 時間以内に清掃員を派遣してテーブルを清掃することができます。株価が急騰する前から、Nvidia は米国で最も働きがいのある企業の一つに選ばれていた。

標準的なコンピュータ アーキテクチャでは、ほとんどの作業は中央処理装置 (CPU) と呼ばれる小さなチップによって実行されます。数十年にわたり、CPU の主要メーカーは Intel であり、同社は何度も Nvidia を市場から追い出そうと試みてきました。

Huang Renxun 氏は、Nvidia と Intel の関係を「トムとジェリーの関係」と表現しました。つまり、彼らが近づくと、私たちはチップを拾って逃げるのです。

Nvidiaは異なるアプローチを取った。 1999年、同社は株式公開後すぐにGeForceと呼ばれるグラフィックカードを発売した。

汎用 CPU とは異なり、GPU は複雑な数学タスクを小さな計算に分割し、並列コンピューティング方式を使用して一度に処理します。 CPU は、一度に 1 つの荷物を配達する配達トラックのような機能を持ちますが、GPU は、街中を走り回るバイクの車群のような機能を持ちます。

GeForce シリーズは成功を収めました。その人気は、プレイヤーがグレネードランチャーで撃つことができるモンスターをレンダリングするために並列コンピューティングを使用した、Quake シリーズのビデオ ゲームによって高まりました。

Quake シリーズではマルチプレイヤー モードも導入され、PC ゲーマーは有利になるためにアップグレードするたびに新しい GeForce グラフィック カードを購入するようになりました。

2000 年、スタンフォード大学のコンピューター グラフィックスの大学院生である Ian Buck 氏は、32 枚の GeForce グラフィック カードを接続し、8 台のプロジェクターを使用して Quake をプレイしました。 ——これは初の8K解像度のゲーム機で、壁一面を占めるほどの大きさです。 「美しかったです。」

GeForce グラフィック カードには、「シェーダー」と呼ばれる基本的なプログラミング ツールが付属しています。イアン・バック氏は、米国の研究機関 DARPA からの資金援助を受けてシェーダーをハッキングし、基盤となる並列コンピューティング回路にアクセスして、GeForce を低コストのスーパーコンピューターに変えました。

その後まもなく、イアン・バックは NVIDIA で働き始めました。

バック氏は 2004 年から NVIDIA のスーパーコンピューティング ソフトウェア パッケージ (CUDA) の開発を担当しています。 Huang 氏のビジョンは、CUDA をあらゆる GeForce グラフィック カードで実行できるようにすることです。

バック氏がソフトウェアを開発している間、Nvidia のハードウェア チームはマイクロチップ上にスーパーコンピューター用のスペースを割り当て始めました。 Nvidia の主任チップエンジニアである Arjun Prabhu 氏は、マイクロチップの設計を都市計画に例え、チップのさまざまな領域がさまざまなタスクに特化していると述べています。

2006 年後半に CUDA が発表された際、ウォール街は驚愕の反応を示した。黄氏はスーパーコンピューティングを一般大衆にもたらしたが、一般大衆はそれを必要としていることを示さなかった。

シリコンバレーの人気ポッドキャスト「Acquired」の司会者ベン・ギルバート氏は、当時は大きな市場ではなかった学術・科学コンピューティングの目立たない分野をターゲットに、エヌビディアが数十億ドルを費やしたと語った。

2008年末までに、Nvidiaの株価は70%下落しました。

Huang Renxun 氏は、CUDA の存在によってスーパーコンピューティングの分野が拡大すると考えています。しかし、この見解は広く共有されているわけではない。

2 つの NVIDIA グラフィック カード、1 つの CUDA アーキテクチャ、ニューラル ネットワークの活性化

20 世紀の初めには、AI はまったく人気のないテーマでした。画像認識や音声認識などの分野における人工知能の進歩は停滞している。

この人気のない学術分野では、問題を解決するために「ニューラル ネットワーク」（人間の脳にヒントを得た計算構造）を使用することは、多くのコンピューター科学者に好まれていませんでした。

当時、ディープラーニング研究者のブライアン・カタンザロ氏は、ニューラルネットワークは時代遅れで機能しないと考えられていたため、黄氏にニューラルネットワークの研究をやめるよう説得した。

カタンツァーロ氏はまた、総称して「荒野の預言者」と呼ばれるニューラルネットワークの研究者の研究も続ける予定だ。

こうした預言者の一人は、トロント大学の元教授で AI のゴッドファーザーとして知られるジェフリー・ヒントン氏です。

2009年、ヒントン氏の研究チームは、NvidiaのCUDAプラットフォームを使用して、音声を認識するニューラルネットワークをトレーニングしました。

予想外にも、研究結果の質はヒントン自身も驚き、彼はその年の会議でその結果を報告しました。その後、彼は自ら進んでNvidiaに連絡を取った。

「私は『1,000人の機械学習研究者にNvidiaのグラフィックカードを買うべきだと言ったばかりです。無料で一枚もらえませんか？』というメールを送りました。」

しかし、Nvidia の最終的な回答は「いいえ」という一言だけだった。

無関心にもかかわらず、ヒントンは、彼の誇り高き弟子アレックス・クリジェフスキーを含む学生たちに CUDA を使うよう奨励した。

2012 年、Krizhevsky 氏と研究パートナーの Ilya Sutskever 氏は、限られた予算の中で、2 枚の GeForce グラフィック カード (GTX 580 GPU) を購入しました。

その後、クリジェフスキー氏はNvidiaの並列コンピューティングプラットフォーム上で視覚認識ニューラルネットワークAlexNetのトレーニングを開始し、1週間以内に数千万枚の画像を入力した。

ヒントン氏は、「息子の寝室にある2台のGPUは常にブーンという音を立てていたので、両親が相当な電気代を払っていたことは想像に難くない」と回想する。

その後、Krizhevsky 氏とその友人たちは AlexNet を毎年開催される ImageNet コンテストに持ち込み、優勝しました。最初の深層畳み込みネットワーク モデルが誕生しました。

Ilya 氏と Krizhevsky 氏は、GeForce グラフィック カードの機能に驚きました。

実際、2012年の初めに、Google の研究者である Andrew Ng 氏と Jeff Dean 氏は、「猫を認識」できるニューラル ネットワークをトレーニングしました。

Google はこの研究に約 16,000 個の CPU を使用したが、Sutskever 氏と Krizhevsky 氏はわずか 2 個の Nvidia 回路基板を使用して「世界クラス」の結果を生み出した。

AlexNet は、スクーター、ヒョウ、コンテナ船などのオブジェクトの画像を正しく識別しました。

しかし、AlexNet はコンテストで非常に高い得点を獲得したため、主催者は当初、Krizhevsky が何らかの不正行為をしたのではないかと疑った。当時はニューラル ネットワークが普及していなかったため、このテクノロジを使用したのは Ilya と Krizhevsky の 2 チームだけでした。

「あれは一種のビッグバンの瞬間だった」とヒントン氏は言う。「あれはパラダイムシフトだった」

この9ページの大作「ImageNet Classification with Deep Convolutional Neural Networks」は、2021年の誕生以来14万回以上引用されており、コンピュータサイエンスの歴史における重要なマイルストーンとなっています。

クリジェフスキー氏は多くの重要なプログラミング技術の先駆者となったが、彼の主な発見は「専用 GPU は汎用 CPU よりも 100 倍速くニューラル ネットワークをトレーニングできる」ということだった。

ヒントン氏はさらに、「CUDA がなければ、機械学習を行うことは非常に困難になります」と付け加えました。

その後数年間、ImageNet コンテストに参加したすべての参加者は「ニューラル ネットワーク」を使用しました。 2020 年代半ばまでに、GPU でトレーニングされたニューラル ネットワークは、人間をはるかに超える 96% の精度で画像を認識できるようになりました。

過去 10 年間にわたり、黄仁勲氏はスーパーコンピューティングと GPU の普及促進に大きな成功を収めてきました。

「彼らが完全に構造化されていないコンピュータービジョンの問題を解決できるようになったという事実から、彼らに他に何を教えることができるでしょうか？」と彼は言いました。

Nvidia はグラフィックス企業から「AI 企業」に昇格

答えは「何でも」のようです。

黄氏は、ニューラル ネットワークが社会に革命をもたらし、CUDA を使用することで必要なハードウェア市場を獲得できると結論付けました。

当時、彼は再び同社に賭けると発表した。

「すべてがディープラーニングに移行しており、当社はもはやグラフィック企業ではありません。月曜の朝から、当社はAI企業です」と、同氏は金曜夜に電子メールで伝えた。

Nvidia の変革は文字通り、それほど速いのです。

黄氏がそのメールを送った頃、彼は思考実験を行うためにNvidiaの主任AI研究者であるカタンツァーロ氏に近づいた。

「彼は私に、8,000人のエヌビディアの従業員全員を駐車場に連れて行くところを想像するように言いました。そして私は駐車場からチームに加わる人を自由に選ぶことができました」とカタンザーロ氏は語った。

大型金採掘用シャベルH100

AlexNet の成功後、ベンチャーキャピタリストは AI に多額の資金を投資し始めました。

「当社はディープラーニングをさまざまな分野に応用している多くのスタートアップ企業に投資しており、そのそれぞれが実質的にNVIDIAのプラットフォーム上に構築されている」とアンドリーセン・ホロウィッツのマーク・アンドリーセン氏は2016年に語った。

その頃、Nvidia は初の専用 AI スーパーコンピューターである DGX-1 を OpenAI 研究グループに納入しました。

黄仁勲氏は自らDGX-1をOpenAIのオフィスに持ち込み、当時の会長マスク氏によって開封された。

2017 年に、Google の研究者は Transforme ニューラル ネットワーク アーキテクチャを提案しました。

翌年、OpenAI の研究者は Google のフレームワークを使用して、最初の「生成型事前トレーニング済み Transformer」を構築しました。

GPT モデルは、膨大なテキスト コーパスを使用して Nvidia スーパーコンピューターでトレーニングされ、人間のような接続を作成する方法を学習します。

2022年末、何年にもわたる改良を経て、人気のChatGPTがついに一般公開されました。

その頃からNvidiaグラフィックカードの需要が爆発的に増加しました。

その中で最も強力なDGX H100は、重さ160キログラム以上、価格50万ドルの金属製の箱で、何ヶ月も在庫切れが続いている。

DGX H100 は ChatGPT のトレーニングに使用されるハードウェアよりも 5 倍高速に実行され、AlexNet を 1 分未満でトレーニングできます。

Nvidia は 2023 年末までに 50 万台の DGX H100 を販売すると予想しています。

ニューラル ネットワークに適用される処理能力が高ければ高いほど、その出力はより複雑になります。最も高度な AI システムには、おそらく数十台の Nvidia DGX H100 が必要になります。

それだけでは不十分だとすれば、Nvidia はこれらのコンピューターを図書館の書架のように配置して、データセンターを数千万ドル相当のスーパーコンピューティング機器で満たすつもりだ。

明らかに、AI が実行できることには明らかな制限はありません。

今後数年間で、Nvidia のハードウェアはコンピューターのクロック サイクルの速度まで加速し、さまざまな同様の AI モデルをトレーニングできるようになります。

Nvidiaが販売する機器の粗利益率は70%近くに達すると報告されています。

この莫大な利益は、Google、Tesla、そしてAIトレーニングハードウェアを開発するすべてのスタートアップ企業を興奮させます。

そういえば、Nvidia の最も強力な競争相手は AMD です。

2014年以来、AMDはもう一人の優秀なエンジニア、リサ・スーによって運営されています。彼女が同社を率いて以来、AMDの株価は30倍に上昇し、彼女はジェンスン・フアンに次ぐこの時代で最も成功した半導体CEOとなった。

老黄と蘇子鋒は親戚であることは言及する価値がある。

黄氏の経営手法

黄氏自身はインタビューをほとんど受けない。同氏は「私が何か特別なことをしたわけではなく、主にチームの努力によるもので、なぜ私がCEOに選ばれたのかは分からない。特別な原動力はない」と語った。

黄氏が30歳で起業しようと決めたとき、共同創業者のクリス・マラコウスキー氏は「君は内向的な性格だから、話すのがあまり得意じゃないよ」と言った。

ラオ・ホアンさんは「私にはただ一つのスーパーパワーがある。それは宿題をすることだけだ」と言った。エヌビディアのソフトウェア部門責任者ドワイト・ディルクス氏は、黄氏は週末にどんな科目でもマスターできると語った。

黄氏は、固定された部門や階層のない機敏な企業構造を好みます。代わりに、従業員は自分が取り組んでいる最も重要な 5 つの事項のリストを毎週提出します。

彼自身も毎日何百通もの返信メールを書いたり、従業員とチャットしたりしなければなりませんが、たいていは数文だけです。ある幹部は電子メールを俳句に例え、別の幹部は身代金要求の手紙に例えた。

老黄氏はまた、頻繁に引用する一連の経営モットーも考案しました。

黄氏は、タスクを割り当てる際に、従業員に「光の速度」を考慮するよう求めています。これは単に迅速に行動することを意味するのではなく、従業員はタスクを完了できる絶対的な速度を考慮し、達成可能な目標に向かって逆算して作業を進める必要があります。

おそらく黄氏の最も過激な信念は、「失敗は共有されなければならない」ということだ。

2000 年の初めに、Nvidia は、うるさいファンが過剰に作動する欠陥のあるグラフィック カードを出荷しました。

しかし、黄仁勲はグラフィック カードの製品マネージャーを解雇する代わりに、マネージャーたちが大失敗につながったあらゆる決定について何百人もの人々に説明する会議を企画しました。

Nvidiaの従業員は、黄氏の性格が不安定だと時々不満を漏らす。

黄仁訓さんは「これは実は、私が心の中で考えていることと私が言うことの不一致です。不一致が深刻になると、怒りとして現れます」と語った。

たとえ落ち着いているときでも、黄の優位性は圧倒的なものになり得る。ある従業員は、それを「コンセントに指を突っ込むような感じで彼とコミュニケーションをとる」と表現した。

それにもかかわらず、Nvidia の従業員離職率は低いです。

GPU 販売の急増により、Nvidia は世界のコンピューティング パワーのリーダーとなり、1 兆ドル クラブへの参入を果たしました。これは、リーダーである黄仁訓氏の「クレイジー」な経営戦略と切り離せないものです。

黄氏はかつて、会社を立ち上げるときには第一原理から始めるのが自然だと語ったことがある。