GPT-4が「愚か」になったと誰もが不満を言っていますが、これはアーキテクチャの再設計が原因かもしれません。

OpenAI が GPT-4 を最初にリリースしてから約 4 か月が経ちました。しかし、時間が経つにつれ、最近ではネット上で疑問の声が上がり始めており、世界で最も強力なGPT-4の威力が低下したと考える人もいます。

業界関係者の中には、これはOpenAIによるシステムの大幅な再設計に関連している可能性があると考える人もいる。

実際、ここ数週間、GPT-4 のユーザーがオンラインでパフォーマンスの低下について不満を述べているのを目にしてきました。一部のユーザーは、以前の推論機能やその他の出力と比較して、このモデルを「怠惰」で「愚か」だと言っています。

それだけでなく、Twitter や OpenAI のオンライン開発者フォーラムのコメントでは、GPT-4 の論理的能力の低下、誤った回答の増加、提供された情報の追跡の喪失など、この問題に対するユーザーの不満が表明されています...

GPT-4 がどのようになったかについてのネットユーザーのフィードバックを見てみましょう。

GPT-4は「愚かになった」が、不満は続く

ウェブサイト開発に GPT-4 を使用したあるネットユーザーは次のように書いています。「現在の GPT-4 は非常に残念です。フェラーリを 1 か月運転したら、突然ボロボロのピックアップ トラックに変わってしまったような感じです。この調子では、お金を払う気にはなれません。」

別のユーザーはこう述べています。「私はしばらくChatGPTを使用しており、GPT-4がリリースされて以来、GPT Plusの有料ユーザーです。ここ数日、GPT-4は以前はうまくできていたことがうまくできていないようです。私がGPT-4を使用していたときは、以前は私の要求をよく理解していたようです。しかし、今では情報を追跡する能力が低下し、提供される情報が不正確で、私の質問を誤解することがよくあります。」

写真

Robloxの製品責任者であるピーター・ヤン氏はTwitterで、GPT-4の出力速度は速くなったが、出力品質は低下したと主張した。たとえば、より明確で、より簡潔で、より創造的なテキストタスクを出力するなどの単純な問題があります。 GPT-4 の結果は品質が低いように思えます。

写真

「GPT-4 はループしてコードやその他の情報を何度も出力し始めました。以前と比べると脳が死んでしまったようです。以前何ができるかを実際に見たことがなければ、気付かないかもしれません。しかし、以前 GPT-4 を十分に使用したことがあれば、明らかに愚かになったと感じるでしょう」と別のユーザーは不満を漏らした。

写真

「GPT-4 応答の品質に関して同じ問題があります。これをトラブルシューティングまたは修正する方法を知っている人はいますか?」

写真

「確かにこれに気づきました。一日の特定の時間帯には、最新のプロンプトしか記憶していないようでした。しかし一日を通して、GPT-4 のパフォーマンスは変動しているようで、異なる時間帯に試してみると違った感じがしました。」

写真

ネットユーザーからのフィードバックから判断すると、GPT-4 が愚かになったという事実を誰もが感じているようです。

以前は遅くて高価でしたが、今は速いですが不正確です

昨年末、OpenAI は ChatGPT をリリースし、AI コミュニティ全体に衝撃を与えました。当初、ChatGPT は GPT-3 と GPT-3.5 で実行されていました。 3 月中旬に GPT-4 がリリースされ、すぐに開発者やテクノロジー業界の人々が選ぶモデルになりました。

GPT-4 は、マルチモーダル機能と画像とテキストの両方の入力を理解する機能を備え、広く利用可能な最も強力な AI モデルであると考えられています。 Lamini StartupのCEO、Sharon Zhou氏によると、これは遅いが非常に正確だという。

しかし、数週間前、状況は変わり始めました。GPT-4は高速化しましたが、パフォーマンスが大幅に低下したため、AIコミュニティ全体で議論が巻き起こり、Sharon Zhou氏や他の専門家によると、大きな変化が起こっていることを意味しました。

彼らは、OpenAI が、大規模モデルと同様に機能するが実行コストが低い、いくつかの小規模な GPT-4 モデルを作成していると考えています。

これについては、数日前に SemiAnalysis が公開した有料サブスクリプション コンテンツでも議論されました。この記事では、OpenAI が専門家混合 (MoE) モデルを使用することでコストを適正に抑えることができたと述べています。彼らはモデルに 16 個のエキスパート モデルを使用しましたが、各モデルには約 111B 個のパラメータがありました。これらのエキスパート モデルのうち 2 つが各フォワード パスにルーティングされます。

「これらの小型エキスパートモデルは、異なるタスクやドメインごとに個別にトレーニングされます。生物学用のミニ GPT-4 や、物理学、化学などのための小型モデルなどがあるかもしれません。GPT-4 ユーザーが質問すると、新しいシステムはどのエキスパートモデルにクエリを送信するかを認識します。新しいシステムは、クエリを 2 つ以上のエキスパートモデルに送信し、結果をマージすることを決定する可能性があります」と Sharon Zhou 氏は述べています。

開発者の George Hotz 氏は最近のポッドキャストで、GPT-4 を 8 ウェイ ハイブリッド モデルとして説明しました。

写真

特筆すべきは、インターネットでこの情報を見た後、アレン人工知能研究所の創設CEOであるオーレン・エツィオーニ氏がBusiness Insiderにメールを送り、「これらの憶測はおおよそ正確だと『推測』しますが、証拠はありません」と述べたことだ。

Oren Etzioni 氏は、MoE メソッドを使用する主な目的は、生成モデルの出力の品質を高め、コストを削減し、応答を高速化することにあると考えています。

エツィオーニ氏は次のように付け加えた。「ハイブリッド モデルは、正しく使用すれば上記の要件をすべて満たすことができますが、通常はコストと品質の間にトレードオフがあります。今回のケースでは、OpenAI がコストを削減するために品質をある程度犠牲にしているという噂がありますが、これは単なる逸話にすぎません。」

実際、2022年にOpenAIの社長であるグレッグ・ブロックマン氏は、数人の同僚とともにMoEアプローチに関する記事を共同執筆しました。

記事には、「MoE アプローチを使用すると、計算コストを増やすことなく、モデルはより多くのパラメータをサポートできます」と書かれています。

シャロン・チョウ氏は次のように語った。「ここ数週間のGPT-4のパフォーマンス低下は、トレーニングとOpenAIが立ち上げた小規模なエキスパートGPT-4モデルに関係している可能性が高い。ユーザーがテストする際、私たちはさまざまな質問をする。GPT-4は適切な答えを出さないが、私たちからデータを収集し、改善して学習するだろう。」