OpenAIの内部抗争による被害はまだまだ終わっていない

OpenAI の最近の論争を受けて、AI エンジニアや企業はその API への依存を減らしたり、完全にやめたりし始めています。

「Pivot! AI Devs Move to Switch LLMs, Reduce OpenAI Dependency」より翻訳。著者の Richard MacManus は The New Stack のシニア エディターであり、Web およびアプリケーション開発のトレンドについて執筆しています。彼は以前、2003 年に ReadWriteWeb を設立し、これを世界で最も影響力のあるテクノロジー ニュース サイトの 1 つに成長させました。初期の頃から...

ここ数日の OpenAI をめぐるドラマがどのように展開するかにかかわらず、1 つ明らかなことは、OpenAI の API を基盤として構築したスタートアップ企業が現在、自社の戦略を見直しているということです。陰謀がニュースに漏れた直後、ショーン・「swyx」・ワン氏は「AIエンジニアの99%はOpenAIモデルを使って仕事を始め、おそらくOpenAIモデルで仕事を終えるだろう」と指摘した。しかし今、ワン氏は「OpenAIの覇権の時代は終わった」と警告している。

OpenAI の競合他社である Anthropic や Google も、この恩恵を受けることが期待されています。Meta の Llama 2 などのオープンソース LLM も同様です。しかし、この混乱はサードパーティのツールにも波及するでしょう。たとえば、Swyx は、「LangChain や LlamaIndexなどのモデルに依存しないツールや、モデル ルーターやゲートウェイは、相対的に見てより価値があるだろう」と考えています。

結局のところ、最大の教訓はよくあることです。仕事のプロジェクトやスタートアップを他の会社のテクノロジーに依存させないことです。これは、Twitter 開発者が 2012 年に苦労して学んだことです (そして 10 年後に再び学びました)。

先週まで、OpenAI の LLM は他のすべての LLM よりも優れていると AI エンジニアの間で広く考えられていました。今年はオープンソース モデルが追いついているという話がありました。 Metaが7月に発表したLlama 2は現在、スタンフォード大学のHELM（言語モデルの総合評価）ベンチマークのリーダーボードをリードしています。ただし、OpenAI の最新モデル (GPT-4 以上) はまだ HELM によって評価されていません。GPT が依然として最高であるという印象です。

OpenAI の開発者エクスペリエンスも、LLM を自分でトレーニングしたり微調整したりする必要がないため、他に類を見ないものです。 OpenAI の API を使用し、LangChain などのツールの助けを借りて、その上でヒント エンジニアリングを行うだけです。

一般的に、OpenAI の API を使用することは、AI エンジニアリングに対する最も効率的でシンプルなアプローチであると考えられてきました。しかし、ここ数日のドラマは、1 つの企業の API に依存することのリスクを鮮明に示しました。その結果、多くの AI スタートアップは、LLM (特にオープンソースの場合) に直接アクセスすることがより良い選択肢であると判断する可能性があります。

代替案の評価

OpenAI以外のベンダーも、スタートアップ企業が代替手段をテストするのを支援するために立ち上がった。 AnyScale の Robert Nishihara 氏は最近、X (旧 Twitter) に次のように書いています。

「OpenAI とオープンソース モデル (Llama 2、Mistral、Zephyr など) を並べて比較したい場合は、Anyscale Endpoints をご覧ください。当社は OpenAI 互換の API (推論および微調整用) を提供しています。」

スタートアップ企業が OpenAI の現在の市場をリードする GPT モデルを引き続き使用すると決定したとしても、OpenAI のより安定したパートナーである Microsoft からサービスを調達することを決定する可能性があります。 AI スタートアップ企業 Sardine の創業者兼 CEO である Soups Ranjan 氏は、X で次のようにコメントしました。「多くの企業が、モデルの提供を Microsoft の Azure AI API に直接移行している可能性があります。」実際、Ranjan 氏は、自社がまさにそれを実行したことを確認しました。

ランジャン氏はまた、AI スタートアップは「Google の PaLM、Anthropic の Claude2、オープンソース モデルの Llama など、複数のモデルを統合する」ことで LLM を多様化すべきだと提案しました。

しかし、Ranjan 氏は、オープンソースは簡単な選択肢ではなく、それを機能させるには堅牢なバックエンドが必要であると警告しています。 「OpenAIやAzure、Google Cloudの超大国を過小評価してはいけない。これらの企業は、大量のRAMや、供給が非常に逼迫しているNvidiaのA100やH100などのカスタムGPUチップを必要とする大規模な言語モデルをホストできる世界クラスのサービスインフラストラクチャを備えている」と彼はXに書いている。

しかし、最終的にはそれだけの価値があるかもしれません。ランジャン氏はこう結論づけた。「モデルをコントロールすれば、運命もコントロールできる。」

AI変革を実行する

LinkedIn では、AI 起業家の Aishwarya (AG) Goel 氏が、スタートアップを OpenAI から Hugging Face のオープンソース ツールに移行する方法に関するガイドを執筆しました。彼女は、プラットフォーム上でモデルを見つける方法、Hugging Face の推論 API を使用してモデルをテストする方法、コスト分析を行う方法、そして「サーバーレス デプロイメント オプション」(彼女の会社が提供するサービス) を検討する方法を概説しました。

ただし、LLM プロバイダーを変更する際には隠れた危険があることにご注意ください。 OpenAI の主要パートナーであり、おそらく OpenAI 以外で最も広く使用されている AI エンジニアリング ツールである LangChain は、ツイートで次のように書いています。「LLM が異なれば、ヒント戦略も異なる場合がよくあります。」

LangChain は次のように付け加えています。「API エンドポイントの切り替えは、多くの場合、簡単な部分です。難しいのは、1 つの LLM を別の LLM のように動作させることです。1 つの LLM を正常に動作させることだけでも十分に困難です。」

同社によれば、現時点ではこれを行うための「優れたオプションはない」が、開発者に対して、自社の LangSmith Prompt Hub を使用して「使用しているモデルで機能するプロンプトの例」をテストすることを推奨している。

ビジネスを拡大する時が来ました

本稿執筆時点（太平洋標準時水曜日早朝）で、OpenAI ドラマの最新ニュースは、サム・アルトマン氏が CEO として復帰し、結局 Microsoft には加わらないということだ。もしそれが実現すれば、多くの AI エンジニアや AI スタートアップは安堵のため息をつくだろう。しかし、ここでの基本的な教訓を忘れてはいけません。製品の運用を 1 つの企業に依存してはいけないのです。

OpenAI の代替手段のテストを開始したエンジニアの 1 人は、Redis の作成者である Salvatore Sanfilippo (別名 @antirez) です。 ChatGPT が気に入っているとツイートで認めた後、彼は次のように書いています。「あなたの製品が OpenAI API を使用していて、そのタスクが微調整された (LoRa 経由など) Mistral 7B で処理できるかどうか試していないのであれば、その場合は本当に何かを見逃していることになります。」

Redis の作成者が他のオプション (彼の場合は Mistral 7B と呼ばれる新しいオープン ソース LLM) を検討している場合は、おそらくあなたも同じことをするべきです。