GPT-4 は高価すぎるが、Microsoft は OpenAI を排除したいのだろうか?プラン B が明らかに: 数千の GPU で「小さなモデル」をトレーニングし、Bing の内部テストを開始

GPT-4 は計算能力を大量に消費するため、Microsoft でも処理できません。

今年、数多くの Microsoft AI カンファレンスにおいて、CEO の Nadella 氏はステージ上で、GPT-4 と DALL·E 3 が Microsoft の「ファミリー全体」に統合されることを興奮気味に発表しました。

AI をすべての人の人生のパートナーにするというビジョンのもと、Microsoft の製品ライン全体が OpenAI のモデルによって作り直されました。

しかし、舞台裏では、GPT-4 の運用コストが高すぎるため、Microsoft はひっそりとプラン B を開始しました。

The Informationは、OpenAIへの依存を解消するために、ピーター・リー氏が率いる1,500人の研究チームの一部が新しい会話型AIの開発に着手したことを独占的に明らかにした。

開発されたモデルの性能はGPT-4ほど良くはないかもしれないが、パラメータスケールが小さく、研究コストが低く、実行速度が速いと言われている。

現在、Microsoft は Bing Chat などの製品で社内テストを開始しています。

マイクロソフトだけでなく、Google を含む他のテクノロジー大手も、AI チャット ソフトウェアとチップの両方でコストを節約するために代替アプローチを採用しています。

Llama 2 のプロモーション中の Microsoft と Meta の協力は、OpenAI への完全な依存から脱却するための手段でもあります。

これは、マイクロソフト帝国が成長を続け、現在の限界を打ち破りたいのであれば、取らなければならない道です。

より「洗練された」モデルをまず試す必要がある

今年 2 月、Microsoft は ChatGPT と独自の Prometheus モデルを組み合わせた New Bing を正式にリリースしました。

GPT-4 のリリース後、Microsoft はすぐに GPT-4 が Bing に統合され、検索エクスペリエンスが新たなレベルに引き上げられたことを発表しました。

Microsoft の検索責任者である Mikhail Parakhin 氏は最近、Bing Chat は現在「クリエイティブ」モードと「精密」モードで 100% GPT-4 を使用していると述べました。

バランス モード (ほとんどのユーザーが選択するモード) では、Microsoft は Prometheus モデルと Turing 言語モデルを追加します。

Prometheus モデルは、スキルとテクニックの集合体です。 GPT-4 ほど強力ではないチューリング モデルは、簡単な質問を認識して回答し、より難しい質問を GPT-4 に渡すように設計されています。

Microsoft はすでに 2,000 個の GPU のほとんどを「小規模モデル」のトレーニングに投資している。もちろん、これは Microsoft が OpenAI に提供したチップの数と比べると見劣りします。

ただし、これらのモデルは GPT-4 よりも単純なタスクを実行できるため、Microsoft の取り組みのきっかけとなっています。

OpenAIの罠を破る

長年にわたり、Microsoft と OpenAI は緊密な関係を維持してきました。

しかし、ChatGPT、Microsoft Bing、その他のフルファミリー製品の発売により、MicrosoftとOpenAIも密かに市場を争い始めました。

マイクロソフトの取り組みはまだ初期段階にあるが、ナデラ氏はマイクロソフトを率いて、OpenAIに完全に依存しない独自のAI製品の道を切り開いている。

「それはいずれ実現するだろう」とデータブリックスの幹部ナヴィーン・ラオ氏はマイクロソフト社内のAIの取り組みについて語った。

「マイクロソフトは賢い会社です。GPT-4 の巨大モデルを使用して製品を展開する場合、効率性を求めます。電話交換手になるのに博士号を 3 つ持つ人は必要ない、と言っているようなものです。経済的に意味がありません。」

しかし、ナデラ氏と研究主任のピーター・リー氏がOpenAIなしで高度なAIを開発したいと望んでいるのは、おそらく単なる希望的観測に過ぎない。

マイクロソフトがOpenAIに投資して以来、この巨大企業の研究部門は、独自のモデルを開発するのではなく、OpenAIのモデルを微調整してマイクロソフトの製品に適合させることにほとんどの時間を費やしてきた。

Microsoft の研究チームは、GPT-4 と同じくらい強力な AI を開発できるとは思っていません。

彼らは、OpenAI のようなコンピューティング リソースや、LLM が回答した質問にフィードバックを提供してエンジニアがモデルを改善できるような多数の人間のレビュー担当者がいないことを知っていました。

研究部門も過去 1 年間で優秀な人材を失いつつあり、マイクロソフト社内の製品チームに移った研究者も含め、研究者が次々と退職している。

マイクロソフト自身にとって、OpenAIの支援なしに高品質のLLMを開発することは、両社が今後数年間にパートナーシップの更新について話し合う際に、より大きな交渉力を与える可能性がある。

マイクロソフトのAI研究ディレクター、ピーター・リー氏

現時点では、取引は双方にとって有益です。

さらに、マイクロソフトは初期投資が返済されるまでOpenAIの理論上の営業利益の75％を受け取り、一定の上限に達するまで利益の49％を受け取ることになる。

現在、マイクロソフトは、OpenAIや他のAI企業との既存の提携を通じて、不特定の期間内に少なくとも100億ドルの新たな収益を追加したいと考えている。

GPT-4 機能のサポートにより、Office 365 ファミリは収益増加の兆候を示し始めました。

マイクロソフトは7月、2万7000社以上の企業が同社のコード作成ツール「GitHub Copilot」に料金を支払ったとも発表した。

Statistaの統計によると、2023年に最大の割合を占めるMicrosoftのクラウドサービスに加えて、生産性ビジネスプロセスを加速するソフトウェア製品の収益シェアも徐々に増加しています。

しかし皮肉なことに、マイクロソフトと OpenAI の契約条件は、間接的にマイクロソフトが OpenAI への依存から脱却する取り組みにも役立っています。

ユーザーが Bing を使用すると、Microsoft は OpenAI モデルの出力にアクセスできます。

Microsoft は現在、このデータを活用して、より「洗練された」モデルを作成しています。社内研究者の調査結果によると、これらのモデルはより少ないコンピューティング リソースで同様の結果を生成できることが示されています。

「小さなモデル」の探究

OpenAI の影に1年を費やした後、一部の Microsoft 研究者は、GPT-4 を模倣した「蒸留」モデルを作成するという新たな目標を見つけました。

今年 6 月、マイクロソフトは、GPT-4 の 10 分の 1 の計算能力しか消費しない Orca というモデルをトレーニングしました。

Orca を作成するために、Microsoft は GPT-4 によって生成された何百万もの回答をより基本的なオープンソース モデルに入力し、GPT-4 を模倣するように教えました。

論文アドレス: https://arxiv.org/abs/2306.02707

結果は、Orca が他の SOTA 命令微調整モデルを上回るだけでなく、BigBench Hard (BBH) などの複雑なゼロショット推論ベンチマークで Vicuna-13B の 2 倍のパフォーマンスを達成することを示しています。

さらに、Orca は BBH ベンチマークで ChatGPT と同等の結果を達成し、SAT、LSAT、GRE、GMAT などの専門試験や学術試験でわずか 4% のパフォーマンス ギャップしかなく、これらはすべて思考連鎖のないゼロ ショット設定で測定されています。

同様に、Microsoft は、GPT-4 の 1000 分の 1 未満のパラメータを持つ phi-1 というモデルもリリースしました。

「教科書レベル」の高品質なトレーニング データを使用しているため、phi-1 の数学および論理問題に対する能力は、その 5 倍の規模のオープン ソース モデルに劣りません。

論文アドレス: https://arxiv.org/abs/2306.11644

その後、マイクロソフトは「特定の機能を実現するために LLM をどの程度小さくする必要があるか」の研究をさらに進め、わずか 13 億のパラメータを持つ phi-1.5 モデルを発表しました。

論文アドレス: https://arxiv.org/abs/2309.05463

phi-1.5 は、多くの大規模モデルが「段階的に考える」、つまり基本的なコンテキスト学習を実行する能力を実証します。

結果は、phi-1.5 が常識的推論と言語スキルにおいて、その 10 倍の大きさのモデルと同等の性能を発揮することを示しています。

同時に、マルチステップ推論においては他の大規模モデルをはるかに上回ります。

Orca や Phi のような「小型モデル」が実際に GPT-4 などの大型 SOTA モデルと競合できるかどうかはまだ明らかではありません。しかし、コスト面での大きな優位性により、マイクロソフトは関連研究を継続的に推進する意欲を強めています。

事情に詳しい人物によると、Phi をリリースした後のチームの最初の仕事は、そのようなモデルの品質を検証することだった。

研究者らは、近日発表予定の論文で、対照学習に基づくアプローチを提案している。このアプローチにより、エンジニアはモデルに高品質の応答と低品質の応答を区別するように教えることで、Orca を改良できるようになる。

同時に、マイクロソフトの他のチームも、テキストと画像の説明と生成の両方が可能な LLM である新しいマルチモーダル大規模モデルの開発に熱心に取り組んでいます。

GPT-4V

明らかに、Orca や Phi のようなモデルは、Microsoft が顧客に AI 機能を提供するために必要なコンピューティング コストを削減するのに役立ちます。

現従業員によると、マイクロソフトの製品マネージャーはすでに、Bing チャットボットのクエリを処理するために、OpenAI のモデルではなく Orca と Phi を使用する方法をテストしているという。たとえば、短い文章を要約したり、はい/いいえで答えたりするような比較的簡単な質問です。

Microsoft は、Azure クラウドの顧客に Orca モデルを提供するかどうかも検討している。

関係者によると、オルカの論文が発表されるとすぐに、顧客からいつ使えるのかと問い合わせが来たという。

しかし、問題は、Microsoft が本当にこれを実現したい場合、Meta からライセンスを取得する必要があるかどうかです。結局のところ、後者では、オープンソース LLM を商用化できる企業にはまだいくつかの制限があります。