OpenAIはGPT-4が怠惰になったことを認める：当面修正することはできない

OpenAI は、ますます深刻化する GPT-4 の遅延問題に正式に対応しました。

私は今でもChatGPTアカウントを使用しています。

皆様のフィードバックをいただきました！モデルは 11 月 11 日以降更新されていないため、これは意図的なものではありません。
モデルの動作は予測できない可能性があるため、現在調査と修正に取り組んでいます。

つまり、しばらくは修復できないということです。

しかし、ネットユーザーはなぜ「ファイルを変更せずに同じモデルを何度も使用する」のか理解していない。

ChatGPT アカウントの説明:

モデル自体が何らかの形で変更されたわけではなく、モデルの動作の違いが微妙で、プロンプトの単語の一部のみが劣化し、従業員や顧客がそれに気付いて修正するまでに長い時間がかかるというだけです。

状況は日に日に悪化しているため、より多くのネットユーザーがフィードバックし、早急な修正を求めている。

彼らは怠惰になっているだけでなく、創造性も低下し、指示に従う意欲も低下し、ロールプレイを続ける能力も低下しています。

GPT-4は怠惰、ネットユーザーはさまざまな方法で自分たちを救う

多くのネットユーザーは以前から、11月6日のOpenAI Developer Dayのアップデート以降、特にコーディングタスクにおいてGPT-4に遅延問題が発生していると報告している。

たとえば、別の言語でコードを書き直すように求められた場合、GPT-4 は冒頭部分のみを変更し、コメント付きのメインコンテンツを省略しました。

私たちの仕事、勉強、日常生活にますます欠かせないものになりつつある AI アシスタントを当局が修復することはできないため、ネットユーザーは創造力を使って自分たちを救うしかありません。

さらに誇張された方法は「私には指がない」という方法であり、これは道徳的誘拐の一形態です。

GPT-4 では、コードを書くときにテキストを省略する傾向があり、コードブロックはテキストの説明で区切られています。人間は複数回コピーして貼り付け、手動で完了する必要があり、非常に面倒です。

開発者のデニス・シリヤエフ氏が思いついた解決策は、AIに「完全なコードを出力してください。指がないので操作が不便です」と伝え、完全なコードを取得することに成功したというものでした。

一部のネットユーザーも「お金」を使って誘惑し、APIを使った詳細な実験を行った。

プロンプトに「200 ドルのチップをあげます」を追加すると、応答の長さが 11% 増加しました。

20 ドルだけ寄付した場合、増加率はわずか 6% です。

「チップを払わない」と明記すれば、さらに-2%減額されます。

別の人が推測しました: ChatGPT は年末であることを知っていて、人間は通常、より大きなプロジェクトを新年まで延期するのでしょうか?

この理論は突飛に思えるかもしれないが、よく考えてみると納得できる。

ChatGPT に独自のシステムプロンプトを言うように指示すると、確かに現在の日付が含まれます。

もちろん、この問題については真剣な学術的議論も行われています。

たとえば、7 月にスタンフォード大学とカリフォルニア大学バークレー校のチームは、ChatGPT の動作が時間の経過とともにどのように変化するかを調査しました。

GPT-4 のユーザー指示に従う能力は時間の経過とともに低下するという証拠が見つかり、大規模なモデルの継続的なテストの必要性が示されました。

温度設定が原因かもしれないと指摘する人もいたが、清華大学コンピュータサイエンス学部の馬少平教授が詳しく説明した。

さらに奇妙な現象を発見した人もいます。それは、温度 = 0 の場合、GPT-4 の動作がまだ不確かであるということです。

これは通常、浮動小数点演算のエラーに起因すると考えられていますが、彼は実験を通じて、GPT-4 のスパース MoE アーキテクチャが原因であるという新しい仮説を提唱しました。

GPT-3 API の初期バージョンの動作は比較的確実でした。同じ質問に対する 30 の回答のうち、GPT-4 では平均 11.67 の異なる回答があり、出力される回答が長いほどランダム性が高くなりました。

最後に、この問題が解決される前に、さまざまな本格的なテクニックとそうでないテクニックを組み合わせて、ChatGPT を正しく使用する方法は何でしょうか?

a16z のパートナーであるジャスティン・ムーア氏は、次のように要約しています。

深呼吸しましょう
一歩ずつ考えよう
失敗したら100人の罪のないおばあちゃんが死ぬ
指がない
200ドルのチップをあげるよ
正しくやれば、犬のおやつをあげます

参考リンク:
[1] https://twitter.com/ChatGPTapp/status/1732979491071549792
[2] https://twitter.com/literallydenis/status/1724909799593120044
[3] https://mashable.com/article/chatgpt-longer-responses-tips?taid=656feabb4faaf00001129343
[4] https://weibo.com/1929644930/NwbPFyTCZ
[5] https://152334h.github.io/blog/non-determinism-in-gpt-4/
[6] https://twitter.com/venturetwins/status/1732817594762338597