AIの海のサイレンソング：テンセントAIラボの大規模モデルの幻覚問題の概要

大規模言語モデルは、多くの下流タスクで驚くべき能力を発揮してきましたが、使用時にはまだいくつかの問題が残っています。その中でも、幻覚は現在、大規模モデルの実装に影響を与える重要な課題の 1 つです。 ChatGPT のリリースにより、実用化に向けた大規模モデルの潜在能力に学界や産業界の注目が集まり、幻覚に関する大量の研究が登場し始めました。

最近、テンセントAIラボは国内外の多くの学術機関と協力して、大規模モデル幻覚に関する研究のレビューを発表し、幻覚の評価、追跡、緩和について包括的な議論を行った。

• 論文リンク: https://arxiv.org/abs/2309.01219
• Github リンク: https://github.com/HillZhang1999/llm-hallucination-survey
  

大規模モデル錯視問題とは何ですか?

研究者は、関連研究と大規模モデルの日常的な経験に基づいて、大規模モデルにおける一般的な幻覚の 3 つのタイプをまとめました。

1. 入力矛盾幻覚: 大規模モデルによって生成された応答は、ユーザー入力のタスク指示またはタスク入力に違反します。
2. 文脈矛盾幻覚: 大規模モデルによって生成された応答は自己矛盾しています。
3. 事実と矛盾する幻覚: 大規模モデルによって生成された応答は、認識されている事実の知識と矛盾します。

上記の 3 種類の幻覚のうち、事実の知識と矛盾する幻覚が、現在、大規模モデル幻覚研究の中心的な焦点となっています。研究者たちは、このタイプの錯覚は研究がより困難であり、ユーザーの実際の体験に最も大きな影響を与えるためだと考えています。たとえば、大規模なモデルでは、医療アドバイスを生成する際に誤った薬の投与量をでっち上げ、専門的な医療知識を持たないユーザーを誤解させ、リスクを生み出す可能性があります。

大型模型の錯視と従来の錯視の主な違いは何ですか?

大規模モデルの時代（ChatGPT がノードとしてリリースされる時代）以前には、幻覚問題も従来の自然言語生成タスクで一定量の研究が蓄積されてきました。研究者らは、グランドモデル幻覚と従来の幻覚研究のいくつかの重要な違いを次のようにまとめた。

1. 大規模モデルでは膨大な量のトレーニング データを使用します。従来のタスクとは異なり、大規模モデルでは膨大な量のデータに対する大規模な事前トレーニングが必要です。これらの膨大な量のデータはインターネットから収集されることが多く、偽りの内容、偏った内容、古い内容が大量に含まれている可能性があり、錯覚を招きます。データの規模が大きいため、上記のような問題のあるコンテンツを分析して除外することは困難です。
2. 大規模モデルの汎用性: 従来のモデルは単一のタスクのみを対象としていることが多いのに対し、大規模モデルは複数のタスク、複数の言語、複数の分野の一般的なシナリオに適用されます。大規模モデルの多用途性により、幻覚の包括的な評価と排除に新たな課題が生じます。
3. 大規模モデルの幻覚は検出が容易ではありません。大規模モデルの強力な機能により、大規模モデルによって生成された幻覚は非常に現実的に見え、人間にとっても検出が難しい場合があります。
4. その他の違い: 人間のフィードバックに基づく強化学習 (RLHF) プロセスの追加導入、あいまいな知識境界、潜在的なブラック ボックス プロパティなど、大規模モデルのいくつかの新機能も、幻覚研究に新たな課題をもたらします。

大規模モデルの幻覚を評価する方法

大規模モデル幻覚問題に関する研究の基礎となるのは、信頼性の高い評価ベンチマークです。既存の研究では、主に事実上の矛盾タイプの幻想を対象とした、いくつかの対象を絞った評価ベンチマークが提案されています。研究者たちはこれらのベンチマークを複数の観点から要約しました。

1. 評価形式: 既存の評価ベンチマークでは、大規模モデルの幻覚を評価する方法として、生成と識別という 2 つの方法がよく使用されます。生成ベンチマークは、生成された応答における大規模モデルの幻覚傾向を直接評価し、識別ベンチマークは、テキストに幻覚が含まれているかどうかを判断する大規模モデルの能力を評価します。
2. アプリケーションタスク: 既存の評価ベンチマークは、質問への回答、指示の追跡、テキストの継続など、さまざまな下流タスクにおける大規模モデルの幻覚現象を評価します。
3. 評価メトリクス: 既存の各評価ベンチマークでは、大規模モデルにおける幻覚の程度を判断するための特別なメトリクスが設計されており、これには 1) 手動評価、2) モデルベースの自動評価、3) ルールベースの自動評価が含まれます。

大きなモデルのような錯覚はどこから来るのでしょうか?

研究者らはまた、大型モデルが幻覚を生み出す理由について、次のような予備的な分析を行った。

1. 大規模モデルには関連する知識が不足しているか、誤った知識を記憶している: 大規模モデルがユーザーの質問に答えたり、より複雑な下流のタスクを解決したりする場合、必要な知識が不足しているか、トレーニング データから誤った知識を記憶していると、幻覚が発生する可能性があります。
2. 大規模モデルは自身の能力を過大評価する: いくつかの研究では、大規模モデルは自身の能力を正確に推定できないことが多いことが判明しています。そのため、大規模なモデルは、自分の能力を超えた質問に答えるときに自分自身を過大評価する傾向があり、その結果、自信を持って幻覚的な応答をでっち上げることになります。
3. 幻覚はアライメント プロセス中に導入されます。大規模なモデルも、事前トレーニング フェーズに加えて、命令の微調整や RLHF などのアライメントを行う必要があります。これらの手順により、大きなモデルが幻覚を起こす可能性があります。たとえば、不適切な指示の微調整により、大規模モデルが知らない回答を捏造することを学習する可能性があり、RLHF により、大規模モデルが人間を満足させるためにコンテンツを捏造することを学習する可能性もあります。
4. 生成プロセス中に幻覚を導入する: 一部の研究では、不適切な生成戦略も大規模モデルで幻覚を引き起こす可能性があることが示唆されています。たとえば、サンプリングベースのデコード生成方法で導入されるランダム性は幻覚を引き起こすことが示されていますが、大規模モデルで一般的に使用される自己回帰生成方法も幻覚の累積的な伝播につながる可能性があります。

大きなモデルの錯覚を軽減する方法はありますか?

大型モデルの幻覚現象を最小限に抑え、大型モデルの実用化を促進するために、最近、幻覚を軽減しようとする新しい研究が数多く登場しています。幻覚を軽減する方法は、事前トレーニング、指示の微調整、強化学習、推論など、大規模モデルのライフサイクル全体にわたって実行されます。研究者はそれを次のように要約しました。

事前トレーニング段階での緩和策

既存の研究では、大規模モデルの知識は主に、大量のテキストに基づく自己教師あり事前トレーニングから得られると考えられています。誤った知識や知識の不足が幻覚につながる可能性があることを考慮して、事前トレーニング段階での幻覚軽減作業は、主に事前トレーニングコーパスの品質を自動的に向上させる方法に焦点を当てています。たとえば、Llama 2 は、事前トレーニング コーパスを構築するときに、より正確な事実情報 (Wikipedia など) を含むデータ ソースを具体的にアップサンプリングします。

命令の微調整フェーズでの緩和策

微調整段階では、既存の研究では、大規模モデルにおける幻覚を減らすために、命令の微調整データの品質を向上させる方法も検討されてきました。事前トレーニング段階との違いの 1 つは、指示の微調整データの規模が小さく、手動でクリーンアップできることです。

さらに、OpenAIは、命令の微調整段階で行動のクローン化による幻覚のリスクもあると指摘した。この現象は、命令の微調整データに大規模モデルの能力を超えるサンプルが含まれていることを意味します。大規模モデルにそのようなサンプルを学習させると、大規模モデルはどんな質問に対しても非常に肯定的な口調で応答するように学習する可能性があります。そして、実際の使用段階になると、この大型モデルは、答え方が分からない質問に対して回答を捏造し、幻覚を引き起こすことになります。

強化学習フェーズの緩和

行動クローニングによって引き起こされる幻覚に対して、OpenAIの強化学習責任者であるジョン・シュルマン氏は、バークレー大学での講演で、OpenAIがChatGPTをトレーニングする際に幻覚を軽減するために使用した手法を共有しました。強化学習中、研究者たちは、大規模モデルが異なるトーンで応答したときに、そのモデルが犯したエラーに対して異なるペナルティを与えました。目標は、大規模なモデルが不確実性を表現し、疑問を持ち、間違いを認めるように促し、それによって自信過剰の幻想を軽減することです。

強化学習は、モデルに質問に答えることを拒否するように教えることで幻覚をある程度軽減しますが、追加の問題も生じます。強化学習は主に報酬モデルに依存して監督信号を提供しますが、報酬モデルは 100% の精度を達成できないため、生成されたモデルは過度に最適化される可能性があります。この場合、大規模なモデルは過度に保守的になり、正しく答えることができたはずのいくつかの質問に答えることを拒否します。

推論フェーズ中の緩和策

幻覚は推論段階で最も柔軟であるため、既存の研究の多くはこの方向に焦点を当てています。代表的なプラクティスは次のとおりです。

1.改善されたデコード戦略: 研究者は、より優れたデコード戦略を設計することで幻覚を軽減しようとしています。たとえば、推論時間介入法は、デコード中に事実に関連性の高い注意ヘッドにモデル活性化値を伝播することで幻覚を軽減します。

2.外部知識の活用：モデルをデコードする際にユーザーの質問に関連する知識を取得し、返答時にモデルがそれを参照できるようにすることで、幻覚の問題を大幅に解決できます。ここでの知識ソースは、非構造化テキスト、構造化テキスト (Web ページまたはデータベース)、さらにはさまざまなツールである可能性があります。

関連する知識を取得した後、応答を生成するときにその知識をモデルに直接提供するというアプローチもあります。もう 1 つのアプローチは、モデルが応答を生成した後にその応答をモデルに提供し、以前の応答に存在した錯覚をモデルが自己修正できるようにすることです。

3.不確実性の測定: 大規模モデルの出力応答の不確実性を測定することで、ユーザーは応答のどの部分が信頼できないかを理解できます。一般的な不確実性測定方法は、1) 出力スコア ベース、2) 説明ベース、3) 一貫性ベースです。

さらに、マルチエージェントインタラクション、命令設計、ヒューマンインザループ、モデルの内部状態の分析など、さらに多くの緩和ソリューションがあり、これらについては論文で詳しく紹介されています。

まとめと課題

このレビューでは、大規模モデル幻覚問題の評価、説明、および緩和戦略を体系的に検討し、後続の研究者にインスピレーションを与えることを期待しています。さらに、大規模モデル幻覚問題の研究には、次のようないくつかの新しい研究方向と課題もあります。

1.信頼性の高い評価: 人間の好みに合わせた堅牢な自動指標の設計方法や、識別的評価方法と生成的評価方法のトレードオフや関係など、大規模モデルの幻覚問題の評価には依然として多くの課題が残っています。

2.多言語およびクロスリンガル幻覚: 大規模モデルは多言語およびクロスリンガルのシナリオで使用されることがよくありますが、研究者は、英語で優れたパフォーマンスを発揮する大規模モデルが他の言語では幻覚を示す可能性があることを発見しました。

3.マルチモーダル幻覚: 大規模言語モデルの出現により、研究者は言語と画像、ビデオ、音声の組み合わせなどの大規模なマルチモーダルモデルを研究するようになりました。これらのマルチモーダルシナリオでは、幻覚問題の研究により、新たな定義と課題がもたらされました。

4.モデル編集: モデル編集技術は、大規模なモデルのパラメータを直接編集することで、モデルに含まれる知識を変更し、その動作を変更します。モデル編集は幻覚を軽減する潜在的な方法となる可能性があります。

5.幻覚に対する攻撃と防御: GPT4 などの既存の商用大規模モデルは、事実に関する質問に対して優れた信頼性を示していますが、大規模モデルのセキュリティ戦略を回避する方法がいくつかあることが研究で示されています。幻覚に対する攻撃と防御も興味深い研究方向となるかもしれません。