李開復：中国の大型モデル競争は非常に激しく、最終的には大きな勝者が数人出るだろう

12月28日、ベンチャーキャピタリストで元Google China社長の李開復氏の予測によれば、中国の生成型人工知能のスタートアップ企業は「予選ラウンド」を受けている。彼は今年初め、大規模言語モデル（LLM）の開発に重点を置く北京を拠点とするスタートアップ企業01.AIを設立した。同社は先月、評価額10億ドルとなる資金調達ラウンドを完了した。

アリババ、テンセント、バイドゥ、バイトダンスなどの中国最大手のインターネット企業や数多くのスタートアップ企業が、独自の大規模言語モデルの開発を競っている。これらのテクノロジー企業が人工知能の分野で覇権をめぐって熾烈な競争を繰り広げているため、一部のメディアはこれを「百のモデルの戦い」と呼んでいる。李開復氏はインタビューで、これらの企業は高品質のモデルを開発する技術を持っていることを証明している段階にあると述べた。テストに合格した人は、収益を増やして利益を上げる方法を模索する次の段階に進みます。

李開復氏は次のように予測している。「中国では、少数の大きな勝者が生まれ、一部の企業は堂々と市場から撤退するだろう。しかし、ほとんどの企業は途中で諦めるか、特定の業界向けのアプリケーションやソリューションの構築など、より現実的な目標に向かうだろう。」

今年3月に設立されたゼロワンシングは現在100人以上の従業員を抱え、そのほとんどが北京で働いている。同社は先月、初のオープンソース大規模言語モデル「Yi-34B」をリリースしたが、同社の将来の収益はこのモデルだけに依存するわけではない。その代わりに、同社の事業計画は、主に中国市場向けに独自の大規模言語モデルを販売することです。李開復氏によれば、同社は現在、1000億以上のパラメータを持つ新たな独自モデルを開発中だという。

しかし、Yi-34B が Hugging Face のオープンソース大規模言語モデルランキングですぐにトップになった後、Zero One Everything はいくつかの論争を巻き起こしました。一部の開発者は、このモデルがMetaのオープンソース人工知能モデルLlamaを使用しているようだということを発見したが、関連資料にはこれについて言及されていなかった。このため、ゼロワンは後にその部品の名前をYi-34Bに変更し、ラマの貢献を公に認めた。李開復氏も以前の過失について公に謝罪した。

テクノロジーメディア「The Information」のインタビューで、Kai-Fu Lee氏はZero One Everythingの将来と中国の人工知能産業の動向について語った。同氏はまた、米国の半導体輸出規制にどう対処するか、中国企業が世界中でビジネスチャンスを模索する方法についても語った。

以下はインタビュー全文です。

Q: 現在、中国では数十社の企業が大規模な言語モデルの開発を競っています。今後何が起こるのでしょうか?

李開復氏：私の意見では、こうした状況は中国では昔から一般的でした。たとえば、グループ購入のトレンド、シェアサイクルアプリケーションの台頭、さらにはコンピュータービジョンや音声認識技術などのディープテクノロジーの分野でもそうです。コンピュータービジョンがその価値を証明すると、数え切れないほどの中国企業が参入し、あらゆるアプリケーションでシェアを獲得しようとした。しかし、ほとんどの企業は生き残れませんでした。

現在、中国の人工知能分野はまだ初期段階にあり、競争は極めて激しく、米国を凌駕する可能性もある。まず第一に、私たちが直面しなければならない試練は、100 の流派間の競争の中で、どの企業が本当に高品質で価値の高いモデルを開発できるかということです。確かな技術と優れたモデル性能があってこそ、実際のアプリケーションで際立つことができます。そうでなければ、テクノロジーは単なる「おもちゃ」となり、問題を真に解決することができなくなります。

予備ラウンドの技術テストに合格した後、企業は次の段階、つまりどのようにビジネス価値を高めるかという段階に入ります。あなたのビジネスモデルは何ですか?利益を上げるにはどうすればいいですか?近い将来、投資家はクラウドプロバイダー、エンタープライズソフトウェア企業、消費者向けアプリケーションに対して同じ質問をするようになるだろう。企業が明確な答えを出せなければ、成長は止まってしまいます。

米国を例にとると、OpenAI は収益を生み出すと同時に技術的リーダーシップを発揮しています。この価値創造により、他の企業は喜んでリソースを投資し、その上にアプリケーションを構築します。

中国では、最終的には数社の大きな勝者が出現し、一部の企業は優雅に市場から撤退するかもしれない。しかし、ほとんどの企業は、単に大規模なモデルの研究開発を追求するのではなく、途中で諦めたり、特定の業界向けのアプリケーションやソリューションの構築など、より実用的な目標に目を向けたりします。時間の経過とともに、大規模なモデルの開発コストは増加し続けます。

Q: 中国の AI スタートアップ企業とその投資家は、中国は生成 AI モデルとアプリケーションのための独自のエコシステムを開発すると述べています。あなたが思うこと？

カイフー・リー：並行宇宙は私たちが見たいものではないことは、誰もが理解しています。私たちは、グローバルに競争し、真に優れた企業が目立つようにすることを好みます。その方が効率的です。しかし現実には、私たちは自分の運命を完全にコントロールすることはできません。

特に地政学的な問題。米国市場に参入したい場合、参入できないという規則はありませんが、多くのビジネスは得られないと思います。なぜなら、私の意見では、現在の米国市場では中国製ソフトウェアに対して不当な偏見があるからです。これが私たちが直面しなければならない現実です。

もちろん、私たちは世界の他の地域でのビジネスチャンスを歓迎していますが、うまくいかないこともあるとわかっています。たとえば、当社の独自モデルをアメリカの企業に販売することはほぼ不可能でしょう。彼らはそれを買わないだろうし、私たちは時間を無駄にしないだろう。

中国には大きなチャンスがあるのは明らかだが、中国企業が参入する可能性のある世界の他の地域も排除するつもりはない。全体的に、シリコンバレーのアプローチは万能型であり、フェイスブックやグーグルなどの企業の台頭に重要な役割を果たし、米国の優位性獲得に貢献したモデルである。しかし今回は、大規模な言語モデルがデータに基づいてトレーニングされるという点で異なります。データは偏見、イデオロギー、価値観などの問題を提起します。アメリカの価値観は中国だけでなく、すべての国で受け入れられているわけではありません。一部の国では、まったく受け入れられないのです。

中東も、物事を違った視点で考えたいと思っている地域の一つだと思います。このため、各国はモデルに対する管理を強化することを望むようになった。

各国特有のモデルを構築することは可能であると私は確信しています。シリコンバレーの企業がこのようなことを行うのは、自社の価値観が正しいと信じており、より多くの人々がそれを受け入れて統合してくれることを期待しているからではありません。さらに、さまざまな市場向けにさまざまな大型モデルを構築するには、膨大なエンジニアリング作業が必要になるため、シリコンバレーの企業は当然ながら、こうしたモデルの開発に投資することに消極的です。中国を含む世界の他の地域の企業には、このモデルをさらに深く掘り下げる機会があるかもしれません。しかし、当然ながら、ユーザーと政府の信頼を獲得する必要があります。

Q: メディアの報道によると、貴社は Yi-34B の人工知能トレーニングコストの削減に成功したとのことです。どうやってやったんですか？

Kai-Fu Lee:当社には非常に強力なインフラストラクチャ チームがあり、これは社内最大のチームです。以前、従業員に言ったことがありますが、モデラーを追加するたびに GPU の負荷は増加しますが、インフラストラクチャ担当者を追加するたびに GPU の効率は向上します。もちろんモデリングチームも重要ですが、私たちは当初からインフラチームの構築に特に力を入れてきました。

これらのインフラストラクチャ チームのメンバーは、名もなき英雄のような存在です。これらはハードウェア、ソフトウェア、および大量のデータ転送を担当し、グラフィック処理装置、メモリ、ネットワークを同時に処理するため、いずれか 1 つがボトルネックになる可能性があります。ご存知のとおり、数千の GPU を超えて拡張するのは難しいでしょう。 2,000台から8,000台に増えると、機種やデータ量が増えることでネットワーク要件も大きく変わってくるため、単純にソフトウェアで対応できるものではありません。

当社のインフラチームには数十人のエンジニアがおり、Zero One Thing で最大のチームとなっています。 FP8（Nvidia の H100 チップのデータ形式）を使用して計算量を大幅に削減する方法を見つけ出す必要がありますが、これは簡単な作業ではありません。 FP8 をどこで使用し、他の形式をどこで使用するかを把握し、それらの間の移行がシームレスであることを確認する必要があります。これらに加えて、どのネットワーク プロトコルを使用するか、コンパイラを最適化する方法、グラフィックス プロセッシング ユニットの障害に対処する方法など、一連の頭痛の種を解決する必要もあります。実際、グラフィックス プロセッシング ユニットは驚くほどの頻度で故障します。グラフィック プロセッシング ユニットに障害が発生した場合、ホットスワップできますか?私たちはまだこの問題に取り組んでいます。考えてみてください。何千もの GPU を備えたクラスターで 1 つの GPU に障害が発生したためにトレーニングが 1 時間停止した場合、ホットスワップが可能であれば毎日 1 時間を節約できます。こうした瞬間は積​​み重なっていく可能性があります。

もう一つの関連トピックは柔軟性トレーニングです。 2,000 個の H100 チップのクラスターがあり、特定のタスクを実行するのにそのうち 500 個だけが必要な場合、チェックポイント間でそれらを削除し、後で再度追加できますか?これらのタスクは AI 研究者が行うべきものではなく、むしろネットワーク エンジニアの仕事です。

大規模な言語モデルの開発をロケット科学に例えると、エンジニアがいなければロケットは決して飛びません。 SpaceX の成功は、多数の研究者を抱えているだけでなく、非常に複雑なエンジニアリング作業を数多く行っていることにもあります。同様に、当社のインフラストラクチャ チームは「エンジニア」であり、彼らの仕事により当社の大規模な言語モデルが成功しています。

Q: 米国は、Nvidia の先進チップを含む先進半導体技術の中国への輸出を制限しています。ゼロワンエブリシングはどう反応したのか？

李開復氏：当社のチップ在庫は18か月間は十分であると公に述べてきました。これらは基本的に、制限が導入される前に使用していたチップです。私たちは中国製チップをどのように使用するかについて確実に取り組んでいます。しかし、それは簡単なことではないし、決して楽しいことでもありません。それらをプログラミングすることは、私たちがよく知っている分野ではありません。しかし、もし必要なら、我々は後退しません。

Nvidia は優れたチップを持っていますが、よりシンプルなチップの方が安価に同じことができると主張する人もいるでしょう。しかし、Nvidia の強さの大きな要因は、プログラミングを容易にする CUDA ソフトウェア ライブラリを中心としたエコシステム全体です。エンジニアにNvidia以外のチップの使用を強制すると、効率がはるかに悪いため反対するかもしれません。しかし、現在私たちが直面している困難は、18か月後まで明らかにならないため、私たちはもっと早く行動を開始しなければなりません。 Nvidia チップが入手できない場合は、コンバーターに重点を置いたよりシンプルなチップを探すことになりますが、プログラミングは面倒です。しかし、他に選択肢がないのであれば、私たちはこれをしなければなりません。

しかし、中国のエンジニアは、難しいエンジニアリング上の課題に対処する能力と意欲があり、その点で優れていることは誰もが知っています。これは、先ほどインフラチームの仕事について述べたことと似ています。非常に少ないライブラリで新しい非標準 GPU 用に記述する方法を学ぶのも、大変な作業です。

中国の起業家は粘り強い。中国のエンジニアは非常に勤勉です。彼らは一生懸命働くことを恐れません。これが、Meituan が優れたサービスを提供している理由であり、WeChat が優れた製品である理由です。確かに、私たちの前には多くの困難な課題が待ち受けており、それらは時間と多くの人のエネルギーの無駄であると言えるでしょう。しかし、これは私たちに与えられたカードなので、私たちは最善を尽くしてプレイするつもりです。 （小さい）