大きなモデルには堀がない？ OpenAI の「LLM City」に侵入し、防御する方法

著者: ベン・ディクソン

翻訳者 | 李睿

レビュー | Chonglou

制作：51CTO テクノロジースタック（WeChat ID：blog）

GPT-4 に対抗する小規模モデルやオープンソースモデルが増加しています。OpenAI は、LLM ビジネスを保護するための技術的な防壁を構築するために、より完全な対策を必要としています。

2023年5月、Googleから流出した内部文書により、ChatGPTやGPT-4などの大規模言語モデル（LLM）が直面している課題が明らかになりました。この文書の主なポイントは、Google と OpenAI が、独自の大規模言語モデル (LLM) 用に技術的な「堀」を構築していないという点です。オープンソース モデルは最終的に LLM 市場を支配するでしょう。

「我が国の法学修士課程は依然として一定の質的優位性を有しているが、その優位性は驚くほど急速に縮小している」と文書には記されている。「オープンソースモデルはより高速で、よりカスタマイズ可能で、よりプライベートで、より強力である。」

1年も経たないうちに、この文書で提起さ​​れた警告のほとんどが正しいことが証明されました。オープンソース モデルは品質が急速に向上し、柔軟性も向上し、トレーニングと微調整も高速化しています。

しかし、生成 AI の分野が成長するにつれて、OpenAI は LLM ビジネスを保護するための技術的な防御壁を構築するために、より洗練された措置を講じています。しかし、この戦略は常にうまくいくとは限りません。

1. OpenAIの堀が破られた経緯

OpenAI が ChatGPT をリリースしたとき、ほとんどの人は、採用が増えるにつれて LLM が改善されると信じていました。 GPT-3 には 1,750 億のパラメータがあり、トレーニングと実行には数百 GB の GPU メモリと莫大な投資が必要です。 2022 年にリリースされたオープンソース LLM の中には、規模が大きすぎて扱いにくいものもあり、実行できる企業はほとんどありません。

当初、LLM のトレーニングと管理にかかる高額なコストは、十分な資金を持つ企業だけが所有し、開発できる障壁となります。 OpenAI は先行者利益を利用してリーダーとしての地位を確立しました。同社の GPT-3、そしてその後の ChatGPT と GPT-4 は、実際に LLM アプリケーションを構築するための定番モデルとなっています。

他の大手テクノロジー企業が追いついて資金を投資しようと競争する中、中小企業は API を通じてこれらの LLM へのアクセスを購入することしか期待できません。

しかし、DeepMind の研究者による 2022 年の調査では、開発者が最先端の結果を達成するために大規模な LLM を実行する必要はないことが示されました。 Chinchilla と呼ばれるモデルの研究では、非常に大規模なデータセットでトレーニングされた小規模モデルでも、大規模なモデルのパフォーマンスに匹敵できることが示されました。研究者らは、700億のパラメータを持つチンチラモデルは、当時の最先端のLLMよりも優れた性能を発揮したと述べた。

DeepMind は Chinchilla をオープンソース化しなかったものの、そのトレーニング方法は新たな研究の方向性につながりました。 2023 年 2 月、Meta は 70 億から 650 億の範囲のパラメータを持つ LLM ファミリーである Llama をリリースしました。 Llama モデルは 1.4 兆個のトークンでトレーニングされましたが、GPT-3 には 3000 億個のトークンしかありません。

Llama モデルはリソース効率が高く、高性能であり、いくつかの主要なベンチマークで ChatGPT と比較されます。また、Llama はオープンソースであるため、開発者は単一の GPU でも非常に低コストでサーバー上で直接実行できます。

Llama モデルのリリース後、DeepMind は、以前のモデルを基に改良した一連のオープンソース モデルをリリースしました。多くの LLM 製品には、開発者が LLMLM 製品を作成するために使用できるライセンスが付属しています。

モデルの圧縮、量子化、低ランク適応、および長年にわたって開発されたその他の技術により、開発者や企業がアプリケーションにオープンソース モデルを採用することがますます容易になりました。新しいプログラミング フレームワーク、ローコード/ノーコード ツール、オンライン プラットフォームにより、一部の企業ではインフラストラクチャ上で LLM をカスタマイズして実行することが容易になり、エッジ デバイスで実行される高性能 LLM などのイノベーションが期待されています。

公平に言えば、OpenAI の LLM モデルはパフォーマンスにおいて依然として一定の優位性を持っており、GPT-4 を上回る LLM はまだ見られません。しかし、一部のオープンソース モデルはすでに GPT-3.5 のパフォーマンスに到達し、それを上回っており、GPT-4 やその他の最先端の LLM を上回るのは時間の問題です。

オープンソース モデルは、大手テクノロジー企業の技術的優位性を奪い、LLM をコモディティ化します。切り替えコストが下がるにつれて、GPT-4 から低コストのオープンソース モデルに切り替える企業が増えるでしょう。これらのモデルはまだパフォーマンスで GPT-4 を上回っていませんが、ほとんどの企業には、低コストでデータの所有権やプライバシーなどの他の要件を満たす、適切に調整された LLM によって満たすことができる特殊なニーズがあります。

2. GPTストア、ユーザーバインディング、統合

インフラとテクノロジーの防御壁がなければ、OpenAI はビジネスの防御力を確保するために他の分野に目を向ける必要があります。同社はすでに、新たな防御壁を築くためにいくつかの戦略的な動きを見せている。

同社の戦略の重要な部分は、主力製品である ChatGPT を中心にネットワーク効果を生み出すことです。 OpenAI が昨年 11 月に初めて発表した GPT ストアが現在稼働中です。これは Apple の App Store の AI バージョンであり、ユーザーと開発者がカスタマイズしたバージョンの LLM を他のユーザーが使用できるように共有できます。ほとんどの GPT は消滅しますが、これらの LLM の一部は非常に有用であり、生産性を向上させます。

OpenAI はエンタープライズ機能も提供し、ChatGPT チーム プログラムにサインアップした企業が独自のプライベート GPT ストアを持つことができるようになります。

OpenAI の考えでは、十分なクリティカルマスがあれば、ユーザーは ChatGPT を使い続け、GPT ストアにアクセスするために ChatGPT Plus プランにサインアップするユーザーが増えるでしょう。開発者は、自社製品をより多くのユーザーに届けるために、このプラットフォームを引き続き使用します。 ChatGPT コンテンツがさらにリリースされ、大規模なユーザー採用によって同社に無料の宣伝効果ももたらされ、同社はさらに LLM アプリケーションの事実上のキャリアとなるでしょう。

OpenAI は収益性を通じてネットワーク効果を強化しています。同社は自社のウェブサイトで、「2024年第1四半期には、米国のGPTビルダーは、ユーザーがGPTとどれだけやり取りしたかに基づいて報酬を受け取ることになる」と主張している。つまり、同社は製品の粘着性を高めるために、ユーザーエンゲージメントを最大限に高めるよう奨励することになるのだ。しかし、ソーシャル メディアの悪い面をすべて再現するという悪影響もあります。

同時に、OpenAI はデータ ネットワーク効果を強化し、製品を継続的に改善していきます。ユーザーが無料プランを利用している場合、OpenAI はモデルをさらにトレーニングするためにユーザーのデータを収集します。ユーザーが ChatGPT Plus プランを利用している場合、データ収集プログラムをオプトアウトしない限り、そのユーザーのデータは引き続き収集されます。

たとえば、OpenAI は Twitter でユーザーに向けて次のようなメッセージを投稿しました。「設定ページで、無料プランでもプレミアム プランでもトレーニングをオプトアウトできます。チームに必ず知らせ、ウェブページで明確にします。— willdepue (@willdepue) 2024 年 1 月 11 日。」

もう 1 つの重要なタスクは、ChatGPT の実行コストを削減することです。 OpenAIのCEOサム・アルトマン氏は最近のインタビューで、同社はLLMの運営コストを40分の1に削減することに成功したと語った。オープンソースの LLM が ChatGPT に追いつき続けるにつれて、コストが下がることで OpenAI は無料ユーザーと有料ユーザーの両方にさらに多くの機能を展開できるようになります。

OpenAIは将来の開発にも備えています。 OpenAI は ChatGPT を独自の機器で実行していると伝えられており、その機器は特に LLM を中心に構築されている可能性があります。そうなれば、iOS エコシステムに対する Apple の強固な支配力と同じく、垂直統合された力が得られることになる。私たちが目にしているのは、コンピューティングにおける新たなパラダイムシフトの始まりなのかもしれません。この分野が進化し、新しい計算パラダイムが出現するにつれて、OpenAI は垂直スタックを立ち上げる準備が整います。

参考リンク: https://bdtechtalks.com/2024/01/15/how-openai-is-building-its-moat/