スタンフォード大学の研究によると、AIチャットボットChatGPTのパフォーマンスは非常に不安定であることが判明

9月7日、スタンフォード大学の新たな研究により、人気の生成型人工知能（AI）チャットボット「ChatGPT」の機能が数か月にわたって変動していることが判明した。

スタンフォード大学のチームは、数か月にわたって ChatGPT がさまざまなタスクをどのように処理するかを評価しました。彼らは、ChatGPT の機能が時間の経過とともに一貫性を失っていることを発見しました。現在、ChatGPT には、無料の GPT-3.5 モデルと、よりスマートで高速な有料の GPT-4 バージョンの 2 つのバージョンがあります。 研究者らは3月にGPT-4が97.6%の精度で素数を識別し、数学の問題を効果的に解くことができることを発見した。 3か月後、その精度は2.4パーセントに低下しました。一方、GPT-3.5 は精度が 7.4% から 86.8% に向上し、大幅に改善しました。

研究者たちは、コードの記述と視覚的推論においても同様の変動があることに気づきました。スタンフォード大学のコンピューターサイエンス教授、ジェームズ・ゾウ氏は次のように述べている。「大規模な言語モデルを調整して、一部のタスクでのパフォーマンスを向上させると、他のタスクでのモデルのパフォーマンスに悪影響を与える予期しない結果が多数発生する可能性があります。モデルが質問に答える方法にはあらゆる種類の相互依存性があり、それが私たちが観察しているような動作の低下につながる可能性があります。」

研究者たちは、この結果はChatGPTのパフォーマンスの正確さを真に反映したものではなく、むしろモデルを微調整したことによる意図しない結果を示していると考えています。基本的に、 1 つのタスクを改善するためにモデルの一部を変更すると、他のタスクに影響が出る可能性があります。 ChatGPT がどのように動作するのか誰も知らず、そのコードはオープンソースではないため、なぜそうなるのかを突き止めるのは困難です。

時間が経つにつれて、研究者たちはChatGPTの応答の精度が低下するだけでなく、その理由を説明しなくなることに気づいた。

ChatGPT の動作方法により、そのパフォーマンスを調査して測定することが困難な場合があり、この研究では、ChatGPT のようなツールを駆動する大規模言語モデル (LLM) のパフォーマンスの変化を観察し評価する必要性を強調しています。この研究はarXivで公開されており、査読待ちです。こちらがリンクです。