大型モデルでも「ドリフト」現象は発生しますか? AIアプリケーション開発者は注意が必要

データセンターでの機械学習プロジェクトの開発に精通している読者は、データドリフトとコンセプトドリフトが機械学習モデルの劣化の一般的な原因であることを知っておく必要があります。ドリフトの主な原因は、モデルが時間の経過とともに劣化することです。したがって、この問題に対処するには、トレーニング プランを定期的に最適化し、モデルを再トレーニングする必要があります。

では、大型モデルには「ドリフト」現象が発生するのでしょうか? 答えは「はい」です。大まかに2つのカテゴリーに分けられます。

1) 大規模モデルドリフト（LLMドリフト）

大きなモデルドリフト (LLM ドリフト) とは、同じ問題を処理する際に LLM によって提供される答えが短期間で大幅に変化することを意味します。この変化は、大規模言語モデルに内在する不確実性や質問プロンプトのわずかな変化によるだけでなく、LLM 自体の変化によるものである可能性もあります。

スタンフォード大学とバークレー大学は、GPT-4 と GPT-3.5 の質問への回答精度を追跡するために、「ChatGPT の動作は時間の経過とともにどのように変化するか」という共同研究を実施しました。この研究では、GPT-3.5 と GPT-4 の両方でパフォーマンスに大きな変動があり、一部のタスクではパフォーマンスの低下が見られることが判明しました。下の図は、4 か月間のモデル精度の変動を示しています。場合によっては、精度の低下がかなり激しく、60% 以上も低下しました。

写真

出典: http://arxiv.org/pdf/2307.09009.pdf

モデルの変更などの要因など、ドリフトの理由はアプリケーション開発者自身にはわかりませんが、少なくとも開発者は、アプリケーションの安定性を確保するために、時間の経過に伴う LLM モデルのパフォーマンスの変化を継続的に監視および評価する必要性を認識する必要があります。

この研究のコードベースは次のとおりです: https://github.com/lchen001/LLMDrift

2) プロンプトドリフト

キュー ドリフトとは、モデルの変更、モデルの移行、またはキュー挿入データの変更により、推論中にキューによって生成される応答が時間の経過とともに変化する現象を指します。

大規模モデルの特性上、それぞれの答えは非決定論的であり、同じ質問であっても、異なる時点では異なる答えが得られる可能性があります。これは必ずしもそれ自体が問題というわけではなく、機能である可能性もあり、言葉遣いが異なっていてもコアコンテンツは同じままである可​​能性があります。ただし、プロンプトドリフトが発生すると、LLM は予期しない応答を返す可能性があります。

ChainForge、LangSmith など、Prompt ドリフト用のプロンプト管理およびテスト ツールが市場にいくつか存在します。

モデルはアプリケーション全体において重要な役割を果たすため、大規模言語モデル (LLM) の移行や廃止の前に、大規模言語モデル (LLM) に基づいて生成されたアプリケーション (Gen-Apps) を十分にテストできるようにするメカニズムが緊急に必要です。当然ながら、使用される大規模な言語モデルにほとんど影響を受けないモデルがあれば、より理想的です。これを実現する 1 つの方法は、大規模言語モデルのコンテキスト学習機能を活用することです。

カスケード増幅

さらに、RAG や Agent などの現在の大規模モデル アプリケーションの多くは、大規模モデルを使用するアプリケーションを構築するときに大規模モデルを複数回使用するため、複雑なネストや組み合わせの状況が発生します。一度「ドリフト」が発生すると、カスケード現象が引き起こされます。つまり、処理フローの連鎖プロセスにおいて、1 つのリンクに問題や逸脱があると、通常、この問題は後続のリンクでも意図せず拡大されます。つまり、各リンクの出力は、当初の予想結果からさらに逸脱することになります。

次のシナリオを考えてみましょう。

1. ユーザーが予期しない質問や事前に計画されていない質問をする可能性があり、チェーン処理で予期しない応答が発生する可能性があります。

2. 前のリンクの出力が不正確であったり、ある程度の偏差があったりする可能性があり、後続のリンクではそれが悪化します。

3. 大規模言語モデル (LLM) 自体が不確実であるため、LLM によって返される回答も予期しないものになる可能性があります。ここで、ヒント ドリフトまたは大規模な言語モデル ドリフトが導入される可能性があります。

4. 前のリンクの出力が次のリンクに渡され、さらに逸脱が「連鎖的に」発生します。

ある観点から見ると、大規模なモデル上に構築されたアプリケーションは、LLM ドリフトとプロンプト ドリフトによって引き起こされる問題を増幅します。アプリケーションが複雑になるほど、このような問題は顕著になります。そのため、マイクロサービスにおける障害分離など、このような問題を回避したり、このような状況の影響を軽減したりする方法の研究が新たな方向になっています。