ChatGPTの愚かさに対する新たな説明: 世界はAIによって変化し、訓練されたときとは異なっている

学術界は、ChatGPT がなぜ愚かになったのかという新たな説明を持っています。

カリフォルニア大学サンタクルーズ校の研究では次のように述べられています。

トレーニングデータがカットオフされる前のタスクでは、より大きなモデルの方がパフォーマンスが大幅に向上します。

この論文は、「タスク汚染」の問題に焦点を当てています。つまり、大規模なモデルはトレーニング中に多くのタスク例を見たため、AI がゼロサンプルまたは少数サンプルの機能を備えているという誤った印象を与えてしまうのです。

一部の学者は別の観点から、大規模モデルのパラメータはトレーニング後に固定され、人々が新しいタスクを提案し続けるため、入力分布は常に変化していると指摘しました。モデルがこのような変化に継続的に適応できない場合、その機能は徐々に低下します。

AI は質問するだけで答えられると思われがちですが、実際にはトレーニング中に最も一般的なタスクを経験しています。

時間が経つにつれて、人々はより多くの新しい質問をするようになり、AI のパフォーマンスは低下し始めました。

たとえば、コードの問題に関して言えば、プログラミング言語はまだ進化と変化を続けており、遅かれ早かれその効率は許容できないほど低くなります。

これは、継続的に学習する能力を持たないすべてのモデルの運命です。

ミッションの汚染はどの程度深刻ですか?

研究チームは、ChatGPT、OPT、Bloom以前のGPT-3シリーズから、最新のGPT-3.5-turbo、アルパカ科のLlama、Alpaca、Vicunaまで、合計12のモデルを評価しました。

彼らは全員、トレーニング終了前にタスクのパフォーマンスが大幅に向上するという同様の問題を抱えています。

タスク汚染を評価するのは非常に困難です。クローズドソースモデルはトレーニングデータをまったく公開しません。また、ほとんどのオープンソースモデルはライフソースのみを公開し、データ自体は公開しません。

研究者がインターネットデータを再クロールすると、モデルがトレーニングされたときと比べて変化が生じている可能性もあります。

この目的のために、チームはミッション汚染の程度を測定するために 4 つの方法を使用しました。

オープンソースモデル Alpaca と Vicuna では、トレーニングデータが汚染されたタスクのパフォーマンスがオリジナルの Llama よりも優れているという明確な傾向があります。

GPT-3 davinci-001 バージョンから GPT-3.5-Turbo まで、この問題はますます深刻になっています。

図中、X はモデルがトレーニングデータ内の元のタスク例を再現したことを表し、緑は指示によって微調整されたモデルがトレーニングデータを再現しなかったことを表します。

灰色は、指示によって微調整されていないモデルがプロンプト語に従ってトレーニングデータを繰り返すことができないことを表していますが、問題が存在しないことを意味するものではありません。

時系列分析: トレーニングデータの収集日がわかっているモデルの場合は、リリース日がわかっているデータセットでパフォーマンスを測定し、時系列の証拠を使用してデータ汚染の証拠を確認します。

最初の 3 つの方法は、精度は高くなりますが、再現率は低くなります。タスクのトレーニングデータ内にデータが見つかった場合、その例を見たことがあることが確実になります。

ただし、データ形式の変更、キーワードの変更、データセットのサイズにより、最初の 3 つの方法を使用して証拠が見つからない場合でも、データ汚染が存在しないことを意味するわけではありません。

4 番目の方法は再現率は高いですが、精度が低く、干渉要因の影響を受けやすいです。

特にGPT-3シリーズについては、その機能向上は命令の微調整によるものだと現在考えられていますが、研究チームはそうではないと考えています。

davinci-002 は 2021 年以前のデータセットでは davinci-001 よりもパフォーマンスが向上しましたが、2021 年以降のデータセットではそれに応じてパフォーマンスが低下しました。

これは、微調整された GPT-3 ファミリの命令が特定の初期のデータセットに対してのみ機能することを示唆しています。

チームは次のように結論付けました。

タスクの汚染により、クローズドソースモデルは、特に RLHF で微調整されたモデルの場合、ゼロショットまたは少数ショットの評価で実際よりも優れたパフォーマンスを発揮する場合があります。汚染の程度は不明のままですので、注意が必要です。
実験では、タスク汚染の可能性がない分類タスクの場合、ゼロショット設定と少数ショット設定の両方で、大規模なモデルがほとんどのベースラインに対して統計的に有意な改善を示すことはほとんどありません。
時間が経つにつれて、多くの下流タスクにおける GPT-3 ファミリーのモデルのゼロショットまたは少数ショットのパフォーマンスが、おそらくタスクの汚染により向上することが観察されます。
オープンソースモデルの場合でも、トレーニングデータにタスクの汚染がないかチェックするのは困難です。
タスクの汚染問題をチェックできるように、トレーニングデータを公開することをお勧めします。

ある人はこう結論づけました。