ChatGPTはどんどん怠惰になり、代わりにPUA人間を学習しました

GPT-4 が最近少し「怠惰」になっていることにお気づきでしょうか。現在、GPT-4 は常に特定のタスクの実行を拒否するか、簡略化された結果を直接返します。

この質問は多くのネットユーザーの共感を呼び、彼らはChatGPTが「怠惰」になったという事実について不満を言い始めました。

ユーザーは、最近、GPT-4 または ChatGPT API を使用すると、ピーク時に応答が非常に遅くなり、応答が不正確になったと主張しています。場合によっては回答を拒否し、また場合によっては一連の質問をすると会話が途中で打ち切られることもあった。

ユーザーが GPT-4 にコードの記述を要求した場合、上記の問題が発生することが報告されています。いくつかの情報のみを提供し、ユーザーに残りの情報を入力するよう指示する場合があります。時々、GPT-4 は人々に「これは自分でできます」と伝えます。

GPT-4が「怠惰」になり、いくつかの例が示される

「GPT は退屈な作業に対して本当に抵抗を感じるようになりました。基本的に部分的な答えを出して、残りをやるように指示するだけです。クエリを実行すると、データベースが最初の 10 行の情報しか読み取らないと考えると恐ろしいです」と、販売とマーケティングに重点を置く Summit の創設者 Matthew Wensing 氏は不満を漏らした。

「コードを拡張するように求められましたが、生成されたコードには 50 行のコードが必要で、自分で拡張するように求められました。」

ChatGPT は時々ネットユーザーのリクエストにうんざりし、目を転がして自分で体験させてくれるだけです。

「ChatGPTは現在、ユーザーによるコードスクリプトの処理をサポートできません。」

ウォートン大学のイーサン・モリック教授は、7月と現在のGPT-4のパフォーマンスを比較し、GPT-4は依然として知識が豊富だが、怠惰の問題があるという結論に達した。GPT-4は、実際にコードを修正するのではなく、ユーザーにコードの修正方法を説明することに非常に満足している。

その後、モリック教授は「繰り返しますが、GPT-4が何らかの形でより愚かになったという証拠はありません。これはシステム負荷による一時的な問題かもしれませんが（たとえば、openAIは現在、DALL-E 3の画像応答を4から1に減らしました）、刺激なしでシステムがどれだけ行動するかという点で、GPT-4の行動に変化が起こっていることは間違いありません」と述べました。

Xだけでなく、Redditにも議論の投稿が溢れており、最近では「ChatGPTは非常に怠惰になった」というタイトルの投稿が話題になりました。あるユーザーは、ChatGPT に複数のエントリを含む CSV ファイルを記入するよう依頼したが、ChatGPT は「データが広範囲にわたるため、製品全体の完全な抽出はかなり長くなります。ただし、この単一のエントリを含むファイルをテンプレートとして提供できますので、必要に応じて残りのデータを記入してください」と回答し、拒否したと書いています。

この回答に対して、投稿者は激怒した。「これが人工知能の本来あるべき姿なのか？ 私に自分でやらせてくれる、偉そうな怠け者のロボットか？」

ChatGPTの現在のパフォーマンスを考えると、ネットユーザーは以前のGPT-4を懐かしみ始めています。

OpenAIはそれを認めたが、原因は不明だった

これは、OpenAI がモデルを統合し、GPT-4 と GPT-4 Turbo を同時に実行したためにサーバーが継続的に過負荷になり、結果を制限することでコストを節約しようとしたためではないかと推測する人もいました。

周知のとおり、OpenAI の運用コストは非常に高額です。今年 4 月、研究者らは ChatGPT の運用には 1 日あたり 70 万ドル、つまり 1 クエリあたり 36 セントかかると述べました。当時の業界アナリストによると、OpenAI が今年の残りの期間に商用パフォーマンスを維持するためには、GPU 群を 30,000 台に拡張する必要があるとのことでした。 OpenAI は、すべてのパートナーに計算機能を提供するだけでなく、ChatGPT の他のプロセスもサポートする必要があります。

この問題に対して、ChatGPTの公式アカウントは、OpenAIは問題を認識しているが、原因は不明であるとツイートした。 「GPT4 が怠惰になっているというフィードバックをすべて受け取りました。11 月 11 日以降、モデルを更新していませんが、これは決して意図的なものではありません。モデルの動作は予測できない場合があります。現在、修正に取り組んでいます。」

つまり、OpenAI は、ChatGPT や GPT-4 に最近、怠惰になるような変更を加えていないと述べています。実際のところ、11月11日以降、何も変わっていません。しかし、彼らは、モデル自体は「予測不可能な場合がある」と説明しており、その点に対処しようとしている。

12月初旬、OpenAIの従業員であるウィル・デピュー氏もXで、ChatGPTが怠惰になっているという報告にOpenAIが気付いており、潜在的な修正に取り組んでいることを確認した。

彼の回答から、ChatGPT には過度のユーザー拒否やその他の奇妙な動作 (最近の怠惰の問題など) の問題があることがわかりますが、これらは継続的にサービスを提供し、多数のユースケースをサポートしようとするプロセスにある反復的な製品です。 ChatGPT の一部が大幅に改善されても、その改善が広く認識されないことが多いと彼は指摘しました。むしろ、これらの問題は、モデルの一部が時折劣化したときに明らかになります。過度の拒否や時折のパフォーマンスの低下などの問題はありますが、これらはすべて改善プロセスの一部です。 OpenAI は、これらの問題を迅速に解決するために具体的なフィードバックを奨励しています。

GPT-4 が安定するのを待っている間、ユーザーたちは「次は病欠になるだろうね」と冗談を言い合っていました。