2023年振り返り、大型模型産業の急速な発展の365日

4兆度（345MeV）は、2010年に米国ニューヨークのブルックヘブン国立研究所が相対論的重イオン衝突型加速器を使用して金イオン衝突実験を行った際に生み出された。これは人類がこれまでに作り出すことができた最高温度であり、太陽の中心核の温度の26万倍にあたる。

2023 年にこのような前例のない「熱」に到達できる技術が 1 つあるとすれば、それは間違いなく生成的大規模言語モデルです。

しかし、4兆度の高温が10億分の1秒にも満たない一瞬の現象とは異なり、2023年にこの大モデルが生活各界に及ぼす広範囲にわたる影響は、「激しい春の雷鳴」と「静かな湿気」の両方のようなものだ。したがって、2023年の大型模型業界を2つのキーワードで表現すると、「ホット」に加えて「ボリューム」もあります。

2022年11月、ChatGPTが誕生しました。わずか2か月後、ChatGPTの月間アクティブユーザー数は1億人を突破し、史上最速で月間アクティブユーザー数を伸ばしたコンシューマー向けアプリケーションとなりました。駆け出しの ChatGPT は、チャット、コード記述、論文執筆が可能な万能戦士のようなものです...人々がこの会話型アプリケーションの強力な機能に驚嘆する一方で、その背後にある大きなモデルである GPT が初めて世間の注目を集めました。

現代の AI テクノロジーは、主にディープ ニューラル ネットワークを構築することで人間の脳の学習プロセスをシミュレートし、大量のデータを学習して AI モデルを「沈殿」させ、画像分類、物体検出、機械翻訳、言語理解などの特定のタスクを完了します。しかし、今回のビッグモデルは違います。非常に大量のデータ、計算能力、ニューラルネットワークの規模により、モデルは「知能の出現」を生み出すことができます。

現在、「知能の出現」に関する最も人気のある説明は、百度創業者のロビン・リーによるものかもしれない。同氏は、過去の人工知能は機械に学習させたいスキルを何でも教えるものだったと考えている。教えられた人はできるかもしれませんが、教えられていない人はできないかもしれません。大規模モデルが「知能の出現」を示した後、これまで教えられなかったスキルを学習できるようになる可能性もあります。

2023年には、大型模型の分野での研究と革新が国内外で「両翼で飛躍」するだろう。世界的なテクノロジー大手、数多くのスタートアップ企業、学術機関がこの技術の波に加わっています。大まかな統計によれば、世界中で数百の大型モデルがリリースされており、1年以内に一般的な技術が空に「打ち上げられた」と言えるでしょう。

しかし、ビッグモデルの「花」を何千もの業界に植えるためには、モデル自体に加えて、ビッグモデル用のクラウドコンピューティングインフラストラクチャをアップグレードし、対応するプラットフォームとエンジニアリング機能を提供し、上位レベルのアプリケーションに新しいパラダイムの開発ツールを提供することも必要です。

ボリュームモデル：世界中で数百の基本大型モデルが発売され、2024年には大規模な選抜競争が始まる

大規模モデル技術研究の世界的リーダーであるOpenAIは、マイクロソフトの支援を受け、2023年3月、9月、11月にそれぞれGPT-4、GPT-4V、GPT-4 Turboをリリースしました。基本的な大規模モデルのパフォーマンスでははるかに優れていると認識されており、世界中の同業他社から追いつくべき目標、ベンチマークとみなされています。

しかし、11月にはOpenAIの共同創業者兼CEOのサム・アルトマン氏が取締役会から突然解雇され、マイクロソフトに入社、そして再び復帰するという「宮廷喧嘩」茶番劇が繰り広げられ、OpenAIの将来性に不安を抱く人が増えている。

OpenAIの最大のライバルであるAnthropicは、元OpenAIの幹部によって設立されました。

アントロピックは2023年3月と7月に大型モデル製品「Claude」と「Claude 2」を相次いでリリースし、「安全で責任あるAI」の創出を重視し、ChatGPTと直接競合する会話型ロボットアプリケーションをリリースした。 Claude 2 が最初にリリースされたとき、10 万のコンテキスト ウィンドウをサポートしていたことは注目に値します。11 月にはバージョン 2.1 にアップグレードされ、20 万の「スーパー カップ」コンテキスト ウィンドウをサポートし、それぞれ GPT-4 と GPT-4 Turbo を圧倒しました。アントロピックの優れた業績により、2023年後半にはアマゾンから40億ドル、グーグルから20億ドルの新規投資も獲得した。

OpenAI が GPT に魂を与えたとすれば、この「体」は初期の頃に Google によって与えられたものだと言えます。

Transformerアーキテクチャの生みの親であるGoogleは、2023年に遅れをとることを望まず、PaLM 2やGeminiなどの驚異的な大型モデルを発表しました。大型モデルの分野で長い間沈黙していたクラウドコンピューティングの巨人AWSは、4月にTitian大型モデルをリリースし、年末になって初めて、内部コード名「Olympus」と呼ばれる、パラメータが2兆に達する新しい大型モデルをトレーニングしていることが明らかになりました。また、UAEの技術革新研究所（TII）とMetaはオープンソースに取り組んでおり、TIIの最新のFalcon 180BはMetaのLlama 2を上回り、これまでで最も強力なオープンソースの大型モデルになりました。

国内市場に戻ると、大型モデルに最初に注力した企業は百度でした。

2023年3月、百度は率先して生成型大規模言語モデル「文心易言」をリリースし、中国におけるこの分野の空白を埋めました。リリース後4か月以内に、バージョン3.5に急速にアップグレードされました。バージョン3.0と比較して、トレーニング速度は2倍、推論速度は30倍、モデル効果は50％以上の改善を積み重ねました。初の真に権威ある評価（IDCの「AIビッグモデル技術能力評価レポート、2023年」）において、WenxinビッグモデルはGPT-3.5を超え、国内のビッグモデル性能で第1位を獲得しました。 10月、ロビン・リー氏はWenxin Big Model 4.0の正式リリースを発表し、「Wenxin Big Model 4.0の総合的な機能はGPT-4に劣らない」と大胆に発言した。

さらに、アリババとテンセントはそれぞれ上半期と下半期に、独自の大型モデル「Tongyi Qianwen」と「Hunyuan」をリリースした。 Baichuan Intelligence、Zhipu AI、Zero One Everythingなど多くの新興企業が基礎大型模型市場の混戦に加わり、国内の大型模型市場は完全に「戦国時代」に突入しました。

ボリュームコンピューティングパワー: ビッグモデルがクラウドコンピューティングの再構築をリードし、インテリジェントコンピューティングは2024年に「価格性能比」で競争し始める

大規模なモデルでは、大規模なシステムやトレーニングおよび推論タスクをサポートするために膨大なコンピューティング リソースが必要です。

世界の主流の大規模モデルプレイヤーの構成から、AWS、Microsoft、Google、Baidu、Alibabaなどがいずれも十分な計算能力の備蓄を持つクラウドコンピューティング企業であることは容易に分かります。 OpenAI、Anthropic、Zhipu AI、Baichuan Intelligence などのスタートアップ企業は、自社自体にクラウド サービス機能を備えていないものの、モデルの反復的なアップグレードを実現するにはクラウド コンピューティング ベンダーに依存する必要もあります。

収益は前月比34%増、前年比206%増の181億2,000万ドルで過去最高を記録しました。データセンター収益は前月比41%増、前年比279%増の145億1,000万ドルで過去最高を記録しました。これらはNvidiaが提出した第3四半期の財務報告データです。 「当社の力強い成長は、業界が汎用コンピューティングからアクセラレーテッドコンピューティングと生成AIへのプラットフォーム変革を遂げているという事実を反映しています」と創業者兼CEOのジェンスン・フアンは述べています。

クラウド コンピューティング ベンダーは、大規模なモデル開発の波の中で、スタートアップが追いつけない大きな優位性を持っています。最近、Omdia Researchが発表したNvidia GPU出荷予測チャートがインターネット上で話題になっているが、これは大手クラウドコンピューティング企業のAIコンピューティングパワーに対する不安をある程度反映している。しかし、大規模モデルの計算能力を得るには、単に購入するだけで十分でしょうか?

実際、クラウド コンピューティング ベンダーは一般的に複数の足で歩くことを選択します。GPU を備蓄するだけでなく、大規模モデル技術に対する独自の理解に基づいて、大規模モデルのトレーニングと推論シナリオ専用の DSA (ドメイン固有アーキテクチャ) アーキテクチャ チップを作成します。大規模使用後は、コストを分散できるだけでなく、将来的に単一の GPU サプライヤーに縛られることを回避できます。たとえば、AWS が開発した Trainium および Inferentia シリーズ チップ、Microsoft の Maia、Huawei の Ascend、Baidu の Kunlun Core などです。

ムーアの法則が減速したり破綻したりするにつれて、大規模モデルでは、インテリジェント コンピューティング クラスターの有効なコンピューティング能力と安定性に極めて高い要求が課せられます。インテリジェント コンピューティング クラスターの異種コンピューティング能力とシステム レベルの最適化は非常に重要です。たとえば、Microsoft は、NVIDIA GPU を大量に購入するだけでなく、AMD Instinct MI300X などの異種コンピューティング能力も積極的に導入し、自社開発のチップ Maia をベースにしたインテリジェント コンピューティング クラスターの最適化も積極的に進めていきます。

中国では、百度を筆頭とするクラウドコンピューティング企業も、インテリジェントコンピューティングの分野に多大な力を注いでいます。例えば、百度は年末に自社開発の崑崙コアとファーウェイAscendをベースにした2つのAIコンピューティングインスタンスをリリースし、AIヘテロジニアスコンピューティングプラットフォームBaige 3.0をアップグレードし、1万枚クラスターの有効トレーニング時間は98％を占めました。同時に、国内外の主流のAIチップと互換性があります。これらの対策は良い例と言え、国内市場でこれに匹敵するものはありません。

ローリングツール：「ラフハウジング」から「ファインデコレーション」、「プラットフォームマッチング」まで、大型モデルが2024年も引き続きロールアウト

ビッグモデル技術の進歩には、ビッグデータやビッグコンピューティングパワーだけでなく、見落とされがちなプラットフォームやエンジニアリングの蓄積も含まれています。これらは、顧客がビッグモデルを有効活用するための重要な要素でもあります。

スタートアップは一般的に、大きなモデル自体の開発に重点を置いており、多くがオープンソースのルートを選択します。オープンソースは柔軟性に優れていますが、大規模モデルの時代においては、高額なコンピューティングコストに加え、サポートツールの不足により、非常に高い隠れたコストが発生し、顧客の AI 技術の備蓄と二次開発能力に非常に高い要求が課せられます。ユーザーにとって、大きなモデルは「荒っぽい家」であってはならず、「プロパティ」がないものであってはなりません。

従来のディープラーニング時代の小規模モデルの開発パラダイムとは異なり、大規模モデルでは、まずデータ管理からモデルの再トレーニング、微調整、評価までの開発プロセス全体をサポートする新しい完全なツール チェーンが必要になります。世界規模でみると、こうしたプラットフォームを最初に立ち上げたのは、OpenAIでも、Microsoft、AWS、Googleなどの海外大手でもなく、Baiduだった。

ビッグモデル自体とそれをサポートするツールは、足並みを揃えて前進する必要があります。そうしないと、ビッグモデルが何千もの業界に適用された場合、モデルメーカーはそれをドアごとにカスタマイズできるでしょうか? Baidu はこの点について非常に明確に考えました。

2023年3月、百度が文心易眼モデルを発表したとき、ロビン・リー氏は、文心易眼のより大きなストーリーはクラウドコンピューティングにあると語った。わずか10日後、百度スマートクラウドは答えを明らかにし、世界初の企業レベルのワンストップビッグモデルプラットフォームであるQianfanを立ち上げ、百度が国内最高のビッグモデルを作ることができるだけでなく、他の人が優れたビッグモデルを作るのを支援することもできると発表しました。 5月のイベントで、百度のエンジニアは、ワンストッププラットフォームに基づいて業界固有の大規模モデルを微調整するプロセス全体を中国で初めて実演した。

写真

その後、アリババクラウドCTOの周景仁氏は10月末の雲啓カンファレンスでアリババクラウド百連大規模モデルサービスプラットフォームを発表し、マイクロソフトは11月中旬に自社の大規模モデルサービスプラットフォームAzure AI Studioをリリースし、AWSは11月末にAmazon Bedrockサービス機能を更新し、Amazon Titan大規模モデルに基づくモデルの微調整や事前トレーニングなどの新機能を追加しました。

ボリュームアプリケーション: アプリケーション開発のパラダイムが完全に覆され、2024年にはAIネイティブアプリケーションが登場します

モデルに加えて、ユーザーが大規模なモデルアプリケーションを開発できるように支援する方法も解決しなければならない問題です。結局のところ、ビッグモデルはそれ自体では価値をもたらさない新しい技術です。本当に大きな価値を生み出すのは、モデルの上位層の応用です。この点に関しては大手メーカーの考え方も異なります。

OpenAI と Microsoft は、独自のアプリケーション エコシステムを強化するために、比較的クローズドな戦略を選択しました。例えば、OpenAIは2024年11月に開催した初の開発者会議で、GPTとAssistantAPIという2つのキラーGPTネイティブアプリケーション開発製品を相次いで発表し、AIエージェントの新興企業や大手モデルミドルウェアメーカーが群がる中、警鐘を鳴らした。Microsoftは、ユーザーがMicrosoft 365ファミリーバケットに基づいてインテリジェントアシスタントを構築できるようにCopilot Studioをリリースした。

他のメーカーはより開発的なアプローチを選択しましたが、Baidu を除いて、ユーザーが大規模モデル アプリケーションを開発できるように支援する努力をしているメーカーはほとんどありません。 2023年後半、百度は大規模アプリケーション開発向けのAIネイティブアプリケーション開発ワークベンチAppBuilderをリリースしました。大規模アプリケーションの開発でよく使用されるアトミックコンポーネント、RAG（検索生成強化）、エージェントなどのフレームワークのテンプレートをカプセル化して提示し、ローコードとコードステートの2つの製品形式を開放して、さまざまな開発者のニーズに適応します。注目すべきは、Baidu がアプリケーション開発を自社の Wenxin ビッグモデルと密接に結び付けず、開発者により多くの選択肢を提供するために Wenxin ビッグモデルの外部で強化された数十の主流のオープンソース ビッグモデルをプリインストールしたことです。

写真

開発者志向が強いHuggingFaceやMoDaなどのモデルコミュニティとは異なり、Baiduはアプリケーションと産業エコシステムの構築に重点を置いています。大規模なモデルプラットフォームから調整されたモデルはアプリケーションワークベンチに直接送られ、アプリケーションワークベンチから開発されたアプリケーションはAIネイティブアプリケーション市場に上場され、技術から市場、そしてビジネスへのクローズドループを形成します。

ビッグモデルの業界への応用について、ファーウェイはまず、Pangu Big Modelは「詩を書くのではなく、物事を実行するだけ」であると宣言し、その後、Baidu Smart Cloudはビッグモデルに基づいて政務、金融、工業、交通の4つの主要業界向けのソリューションを再構築し、業界ISVにフルリンクのサポートシステムを提供しました。中国が大型モデル技術を産業界に導入するスピードは、再び世界に衝撃を与えると予想される。

2023年を振り返ると、科学技術界の「選ばれし者」であるビッグモデルが輪を突破し、社会全体で話題になっているが、結局はまだ「子供」であり、人々が熱い期待に失望を感じるのは避けられない。一般の人々や個人にとっては、ビッグモデルが先導する「知能の夜明け」が現実のものとなりつつあるが、ビッグモデルの波に乗ったテクノロジー企業にとっては、やるべきことはまだたくさんある。

サム・アルトマンはクリスマスイブにOpenAIの2024年開発リストを書いた。次は誰になるでしょうか？