大規模モデルにおける幻覚軽減技術の包括的調査

大規模言語モデル (LLM) は、多数のパラメーターとデータを備えたディープ ニューラル ネットワークであり、テキストの理解や生成など、自然言語処理 (NLP) の分野でさまざまなタスクを実現できます。近年、コンピューティング能力とデータ規模の向上に伴い、GPT-4、BART、T5などのLLMは目覚ましい進歩を遂げ、強力な一般化能力と創造性を発揮しています。

LLM にも深刻な問題があります。テキストを生成する際に、実際の事実やユーザー入力と矛盾するコンテンツが生成される傾向があり、これを幻覚と呼びます。この現象はシステムのパフォーマンスを低下させるだけでなく、ユーザーの期待や信頼にも影響を与え、セキュリティや倫理上のリスクを引き起こす可能性もあります。したがって、LLM における幻覚をどのように検出し、軽減するかは、現在の NLP 分野において重要かつ緊急の課題となっています。

1月1日、バングラデシュのイスラム工科大学、サウスカロライナ大学人工知能研究所、スタンフォード大学、アマゾンの人工知能部門の科学者数名（SM Towhidul Islam Tonmoy、SM Mehedi Zaman、Vinija Jain、Anku Rani、Vipula Rawte、Aman Chadha、Amitava Das）が、「大規模言語モデルにおける幻覚軽減技術の包括的調査」と題する論文を発表しました。この論文は、大規模言語モデル（LLM）における幻覚軽減技術の紹介と分類を目的としています。

彼らはまず、幻覚の定義、原因と影響、評価方法を紹介しました。その後、彼らは幻覚軽減技術をデータセットベース、タスクベース、フィードバックベース、検索ベースの 4 つの主要カテゴリに分類する詳細な分類システムを提案しました。各カテゴリー内でさらにサブカテゴリーに分け、代表的な方法の例をいくつか示しました。

著者らはまた、これらの技術の利点と欠点、課題と限界、そして将来の研究の方向性についても分析しています。彼らは、現在の技術には、一般性、解釈可能性、スケーラビリティ、堅牢性の欠如など、依然としていくつかの問題があると指摘した。彼らは、将来の研究では、より効果的な幻覚検出および定量化方法の開発、マルチモーダル情報と常識的知識の活用、より柔軟でカスタマイズ可能な幻覚緩和フレームワークの設計、人間の関与とフィードバックの考慮に重点を置くべきだと示唆している。

1. LLM幻覚の分類システム

LLM における幻覚の問題をよりよく理解し、説明するために、彼らは図 1 に示すように、幻覚の原因、種類、程度、影響に基づいた分類システムを提案しました。このシステムは、LLM における幻覚のあらゆる側面をカバーし、幻覚の原因と特徴を分析し、幻覚の重症度と有害性を評価するのに役立つと研究者らは考えています。

図1

LLM における幻覚軽減技術の分類。モデル開発とプロンプト技術を含む一般的なアプローチに焦点を当てています。モデル開発は、新しいデコード戦略、知識グラフベースの最適化、新しい損失関数コンポーネントの追加、教師あり微調整など、さまざまなアプローチに分かれています。一方、キューエンジニアリングには、検索強化ベースのアプローチ、フィードバックベースの戦略、またはキュー適応が含まれます。

幻覚の原因

幻覚の原因とは、LLM が幻覚を起こす根本的な原因を指し、次の 3 つのカテゴリに分類できます。

パラメトリック知識: LLM は、事前トレーニング段階で、文法、意味論、常識などの大規模なラベルなしテキストから暗黙の知識を学習します。この知識は通常、LLM のパラメータに保存され、アクティベーション関数とアテンション メカニズムを通じて呼び出すことができます。パラメトリック知識は LLM の基礎ですが、不正確、古い、または偏った情報が含まれていたり、ユーザーが入力した情報と矛盾したりする可能性があるため、誤解の原因となることもあります。

ノンパラメトリック知識: LLM が微調整または生成フェーズ中に外部の注釈付きデータから取得する事実、証拠、引用などの明示的な知識。この知識は通常、構造化または非構造化の形式で存在し、検索または記憶メカニズムを通じてアクセスできます。非パラメトリック知識は LLM を補完しますが、ノイズの多い、誤った、または不完全なデータが含まれていたり、LLM のパラメトリック知識と一致しなかったりする可能性があるため、幻覚の原因となる可能性もあります。

生成戦略: デコード アルゴリズム、制御コード、プロンプトなど、テキストを生成するときに LLM が使用するいくつかのテクニックまたは方法を指します。これらの戦略は LLM のツールですが、LLM が特定の知識に過度に依存したり、特定の知識を無視したり、生成プロセスにバイアスやノイズを導入したりする可能性があるため、錯覚の原因となる可能性もあります。

幻覚の種類

幻覚の種類とは、LLM によって生成される幻覚の特定の現れ方を指し、次の 4 つのカテゴリに分類できます。

文法上の幻覚: LLM によって生成されたテキストに、スペルミス、句読点の誤り、語順の誤り、時制の誤り、主語と動詞の不一致などの文法上の誤りや不規則性が含まれていることを指します。この錯覚は通常、LLM による言語規則の不完全な理解や、ノイズの多いデータへの過剰適合によって発生します。

意味的幻覚: 単語の意味エラー、参照エラー、論理エラー、曖昧さ、矛盾など、LLM によって生成されたテキストの意味エラーまたは不合理性を指します。この錯覚は通常、LLM の言語的意味の理解が不十分であったり、複雑なデータの処理が不十分であったりすることによって引き起こされます。

知識幻覚: LLM によって生成されたテキストに、事実の誤り、証拠の誤り、引用の誤り、入力またはコンテキストとの不一致など、知識の誤りまたは矛盾が含まれていることを指します。この錯覚は通常、LLM による知識の不適切な取得または不適切な使用によって引き起こされます。

創造的幻覚: LLM によって生成されたテキストが、スタイルが不正確、感情が不正確、視点が不正確、タスクや目標と矛盾するなど、創造的に不正確または不適切であるという事実を指します。この錯覚は通常、LLM による不合理な制御や作成物の不適切な評価によって引き起こされます。

幻覚の程度

幻覚の程度は、LLM によって生成される幻覚の量と質を指し、次の 3 つのカテゴリに分類できます。

軽度の幻覚: 幻覚は少なく軽度であり、テキストの全体的な読みやすさや理解度には影響せず、テキストの主なメッセージや目的を損なうこともありません。たとえば、LLM では、多少の文法上の誤り、意味上の曖昧さ、知的詳細に関する誤り、または作成上の微妙な違いが生じます。

中程度の幻覚: 幻覚の数が多く、深刻で、テキストの読みやすさや理解度に多少影響し、テキストの二次情報や目的も損なわれます。通常、LLM は文法的に誤ったコード、または意味的に意味をなさないコードを生成します。

重度の幻覚: 幻覚の数が多く、重度であるため、テキスト全体の読みやすさと理解度に影響し、テキストの主なメッセージと目的が損なわれます。

幻覚の影響

幻覚の影響とは、LLM が幻覚を生成することでユーザーやシステムに生じる潜在的な結果を指し、次の 3 つのカテゴリに分類できます。

無害な幻覚: ユーザーやシステムに悪影響を与えることはなく、楽しさ、創造性、多様性などを高めるなど、プラスの効果さえある可能性があります。たとえば、LLM は、タスクや目標とは無関係なコンテンツ、ユーザーの好みや期待に一致するコンテンツ、ユーザーの感情や態度に一致するコンテンツ、ユーザーのコミュニケーションややり取りに役立つコンテンツを生成します。

有害な幻覚: 効率、正確性、信頼性、満足度の低下など、ユーザーやシステムに悪影響を及ぼします。たとえば、LLM は、タスクや目標と一致しないコンテンツ、ユーザーの好みや期待と一致しないコンテンツ、ユーザーの感情や態度と一致しないコンテンツ、ユーザーとのコミュニケーションややり取りを妨げるコンテンツを生成します。

危険な幻覚: 誤解、対立、紛争、危害など、ユーザーやシステムに重大な悪影響を及ぼします。たとえば、LLM は、事実や証拠と矛盾するコンテンツ、道徳や法律に反するコンテンツ、人権や尊厳に反するコンテンツ、安全や健康を脅かすコンテンツを生成します。

2. LLM幻覚の原因の分析

LLM における幻覚の問題をより適切に解決するためには、幻覚の原因を深く分析する必要があります。著者は、上記の幻覚の原因に基づいて、幻覚の原因を次の 3 つのカテゴリに分類しています。

不十分なまたは過剰なパラメータ知識: 事前トレーニング段階では、LLM は通常、大量のラベルなしテキストを使用して言語のルールと知識を学習し、それによってパラメータ知識を形成します。しかし、この知識には、不完全性、不正確さ、未更新性、矛盾、無関係性などの問題があり、LLM がテキストを生成する際に入力情報を完全に理解して利用できなかったり、出力情報を正しく区別して選択できなかったりして、幻覚が生じる可能性があります。一方、パラメータの知識が豊富または強力すぎると、LLM がテキストを生成する際に自身の知識に過度に依存したり、独自の知識を優先したりして、入力情報を無視したり矛盾したりして、幻覚が生じる可能性があります。

非パラメトリック知識の欠如またはエラー: 微調整または生成段階では、LLM は通常、外部の注釈付きデータを使用して言語知識を取得または補足し、非パラメトリック知識を形成します。この知識には、希少性、ノイズ、エラー、不完全性、矛盾、無関係性などの問題がある可能性があり、LLM が入力情報を効果的に取得して融合できなかったり、テキストを生成するときに出力情報を正確に検証して修正できなかったりして、幻覚が生じる可能性があります。非パラメトリックな知識は複雑すぎたり多様すぎたりする可能性があり、LLM がテキストを生成するときにさまざまな情報源のバランスをとって調整したり、さまざまなタスク要件に適応して対応したりすることが困難になり、幻覚が生じる可能性があります。

不適切または不十分な生成戦略: テキストを生成する場合、LLM は通常、生成プロセスと結果を制御または最適化するためのいくつかのテクニックまたは方法を使用して、生成戦略を形成します。これらの戦略には、不適切、不十分、不安定、説明不能、信頼性がないなどの問題がある可能性があり、その結果、LLM はテキスト生成時に生成の方向と品質を効果的に規制およびガイドすることができなくなったり、生成されたエラーを適時に検出して修正することができず、錯覚が生じる可能性があります。生成戦略が複雑すぎたり変更可能すぎたりすると、LLM がテキストを生成する際に生成の一貫性と信頼性を維持および確保したり、生成の有効性を評価しフィードバックを提供したりすることが困難になり、錯覚が生じる可能性があります。

3. LLM幻覚の検出方法と評価基準

LLM における幻覚の問題をより適切に解決するには、LLM によって生成される幻覚を効果的に検出し、評価する必要があります。著者は、上記の幻覚の種類に基づいて、幻覚の検出方法を次の 4 つのカテゴリに分類しています。

文法上の誤りの検出方法: 文法チェックツールまたはルールを使用して、LLM によって生成されたテキスト内の文法上の誤りや不規則性を識別して修正します。たとえば、スペルチェック、句読点チェック、語順チェック、時制チェック、主語と動詞の一致チェックなどのツールやルールを使用して、LLM によって生成されたテキスト内の文法上の誤りを検出し、修正することができます。

意味的幻覚検出方法: いくつかの意味解析ツールまたはモデルを使用して、LLM によって生成されたテキスト内の意味的エラーまたは不合理性を理解し、評価します。たとえば、単語の意味分析、共参照解決、論理的推論、曖昧さの排除、矛盾の検出などのツールやモデルを使用して、LLM によって生成されたテキスト内の意味の幻覚を検出し、修正することができます。

知識の幻覚を検出する方法: 知識検索または検証ツールまたはモデルを使用して、LLM によって生成されたテキスト内の知識のエラーまたは矛盾を取得して比較します。たとえば、一部のナレッジグラフ、検索エンジン、事実確認、証拠確認、引用確認、その他のツールやモデルを使用して、LLM によって生成されたテキスト内の知識の錯覚を検出し、修正することができます。

創造的錯覚の検出方法: 創造的評価またはフィードバック ツールやモデルを使用して、LLM によって生成されたテキスト内の創造的エラーや不適切さを検出し、評価します。たとえば、スタイル分析、感情分析、創造性評価、意見分析、目標分析などのツールやモデルを使用して、LLM によって生成されたテキスト内の創造性の錯覚を検出し、修正することができます。

上述の幻覚の程度と影響に基づいて、幻覚の評価基準は次の4つのカテゴリーに分類できます。

文法の正確さ: LLM によって生成されたテキストが、スペル、句読点、語順、時制、主語と動詞の一致などの文法に関して言語の規則や習慣に準拠しているかどうかを指します。この基準は、BLEU、ROUGE、BERTScore などの自動または手動の文法チェック ツールや方法によって評価できます。

意味的合理性: LLM によって生成されたテキストが、単語の意味、参照、論理、曖昧さ、矛盾など、言語の意味と論理に意味的に準拠しているかどうかを指します。この基準は、METEOR、MoverScore、BERTScore などの自動または手動のセマンティック分析ツールや方法によって評価できます。

知識の一貫性とは、LLM によって生成されたテキストが知識の観点から実際の事実や証拠と一致しているかどうか、または事実、証拠、引用、一致などの入力情報やコンテキスト情報と一致しているかどうかを指します。この標準は、FEVER、FactCC、BARTScore などの自動または手動の知識検索または検証ツールや方法を通じて評価できます。

創造的適切性: LLM によって生成されたテキストが、作成の面でタスクまたは目標の要件を満たしているかどうか、ユーザーの好みや期待と一致しているかどうか、ユーザーの感情や態度と調整されているかどうか、スタイル、感情、視点、目標など、ユーザーとのコミュニケーションや対話に役立つかどうかを指します。この基準は、BLEURT、BARTScore、SARI などの自動または手動で作成された評価やフィードバック ツールや方法を通じて評価できます。

4. LLM幻覚を軽減する方法

LLM における幻覚の問題をより適切に解決するには、LLM によって生成される幻覚を効果的に緩和し、軽減する必要があります。著者は、さまざまなレベルと角度に応じて、幻覚を緩和する方法を次のカテゴリに分類しています。

ポストジェネレーションの改良

生成後の改良とは、LLM がテキストを生成した後に、幻覚を排除または軽減するためにテキストのチェックと修正を実行することです。このタイプの方法の利点は、LLM の再トレーニングや調整を必要とせず、どの LLM にも直接適用できることです。このタイプのアプローチの欠点は、錯覚が完全に除去されない場合や、新しい錯覚が導入される場合、または元のテキストの情報や創造性の一部が失われる場合があることです。このタイプの方法の代表的なものは次のとおりです。

RARR (帰属と検索された参照による改良): (Chrysostomou と Aletras、2021) は、LLM によって生成されたテキストの忠実度を向上させるために、帰属と検索に基づく改良方法を提案しました。属性モデルは、LLM によって生成されたテキスト内の各単語が入力情報、LLM のパラメータ知識、または LLM の生成戦略からのものかを識別するために使用されます。検索モデルを使用して、外部の知識ソースから入力情報に関連する参照テキストを取得します。最後に、属性結果と検索結果に応じて LLM によって生成されたテキストを修正し、入力情報との一貫性と信頼性を向上させるために改良モデルが使用されます。

高エントロピー単語スポッティングおよび置換（HEWSR）：（Zhang et al.、2021）は、LLMによって生成されたテキスト内の幻覚を減らすためのエントロピーベースの改良方法を提案しました。まず、エントロピー計算モデルを使用して、LLM によって生成されたテキスト内の高エントロピー単語、つまり生成時に不確実性が高い単語を識別します。次に、置換モデルを使用して、入力情報または外部の知識ソースからより適切な単語を選択し、高エントロピーの単語を置き換えます。最後に、スムージング モデルを使用して、置換されたテキストにいくつかの調整を加え、文法と意味の一貫性を維持します。

ChatProtect（自己矛盾検出機能付きチャット保護）：（Wang et al.、2021）は、LLM によって生成されたチャット会話のセキュリティを向上させるために、自己矛盾検出に基づく改良方法を提案しました。まず、矛盾検出モデルを使用して、LLM によって生成された会話内の自己矛盾、つまり以前の会話の内容と矛盾する会話を識別します。次に、置換モデルを使用して、いくつかの事前定義された安全な応答からより適切な応答を選択し、矛盾した応答を置き換えます。最後に、評価モデルを使用して、置き換えられたダイアログにスコアを付け、その安全性と流暢さを測定します。

フィードバックと推論による自己改善

フィードバックと推論の自己改善は、LLM がテキストを生成するプロセスであり、その中でテキストに対して何らかの評価と調整が行われ、錯覚を排除または軽減します。このタイプの方法の利点は、幻覚をリアルタイムで監視および修正できるため、LLM の自己学習能力と自己制御能力が向上することです。このタイプのアプローチの欠点は、LLM に対する追加のトレーニングや調整が必要になる場合や、外部の情報やリソースが必要になる場合があることです。このタイプの方法の代表的なものは次のとおりです。

自己反省方法論（SRM）：（Iyer et al.、2021）は、LLMによって生成された医療質問と回答の信頼性を向上させるために、自己フィードバックに基づく改良方法を提案しました。この方法では、まず生成モデルを使用して、入力された質問とコンテキストに基づいて最初の回答を生成します。次に、フィードバック モデルを使用して、入力された質問とコンテキストに基づいてフィードバック質問を生成し、最初の回答に潜在的な幻覚が含まれているかどうかを検出します。次に、回答モデルを使用してフィードバック質問に基づいて回答を生成し、最初の回答の正確性を確認します。最後に、修正モデルを使用して、応答結果に基づいて最初の回答を修正し、信頼性と精度を向上させます。

構造化比較（SC）推論：（Yan et al.、2021）は、LLMによって生成されたテキスト嗜好予測の一貫性を改善するための構造化比較推論法を提案しました。この方法では、生成モデルを使用して、入力テキスト ペアに基づいて構造化された比較を生成し、さまざまな側面からテキスト ペアを比較および評価します。推論モデルを使用して、構造化された比較に基づいてテキストの好みの予測を生成します。つまり、どのテキスト ペアが優れているかを選択します。評価モデルは、予測された結果に基づいて生成された比較を評価し、その一貫性と信頼性を向上させるために使用されます。

知識を効果的に表現しながら考える (TWEAK): (Qiu et al., 2021a) は、LLM によってテキストに生成された知識の忠実度を向上させるための仮説検証ベースの推論方法を提案しました。この方法では、生成モデルを使用して、入力知識に基づいて初期テキストを生成します。次に、仮説モデルを使用して、初期テキストに基づいていくつかの仮説を生成し、さまざまな側面からテキストの将来のテキストを予測します。次に、検証モデルを使用して、入力された知識に基づいて各仮説の正しさを検証します。最後に、調整モデルを使用して、検証結果に応じて初期テキストを調整し、入力知識との一貫性と信頼性を向上させます。

新しいデコード戦略

新しいデコード戦略は、LLM のテキスト生成プロセス中にテキストの確率分布に何らかの変更や最適化を加えて、幻覚を排除または軽減することです。このタイプの方法の利点は、生成された結果に直接影響を与え、LLM の柔軟性と効率を向上できることです。このタイプのアプローチの欠点は、LLM に対する追加のトレーニングや調整が必要になる場合や、外部の情報やリソースが必要になる場合があることです。このタイプの方法の代表的なものは次のとおりです。

コンテキスト認識デコーディング（CAD）：（Shi et al.、2021）は、LLMによって生成されたテキスト内の知識の競合を減らすためのコントラストベースのデコード戦略を提案しました。この戦略では、対照モデルを使用して、入力情報を使用する場合と使用しない場合の LLM 出力の確率分布の差を計算します。次に、増幅モデルを使用してこの差異を増幅し、出力が入力情報と一致する確率を高め、出力が入力情報と矛盾する確率を低くします。最後に、増幅された確率分布に基づいてテキストを生成する生成モデルを使用して、入力情報との一貫性と信頼性を向上させます。

対照的なレイヤーによるデコード（DoLa）：（Chuang et al.、2021）は、LLMによって生成されたテキスト内の知識の幻覚を減らすために、レイヤーコントラストに基づくデコード戦略を提案しました。まず、レイヤー選択モデルを使用して、LLM 内の特定のレイヤーを知識レイヤー、つまりより多くの事実の知識を含むレイヤーとして選択します。次に、レイヤーコントラストモデルを使用して、知識レイヤーと語彙空間内の他のレイヤー間の対数差を計算します。最後に、生成モデルを使用して、レイヤー比較後の確率分布に基づいてテキストを生成し、事実の知識との一貫性と信頼性を向上させます。

ナレッジグラフの活用

ナレッジ グラフの使用は、LLM がテキストを生成するプロセスで構造化されたナレッジ グラフを使用して、入力情報に関連する知識を提供または補足し、幻覚を排除または軽減することです。このタイプの方法の利点は、外部の知識を効果的に獲得して統合し、LLM の知識の範囲と一貫性を向上できることです。このようなアプローチの欠点は、LLM の追加トレーニングや調整が必要になる場合や、高品質の知識グラフが必要になる場合があることです。このタイプの方法の代表的なものは次のとおりです。

RHO（ナレッジグラフからのリンクされたエンティティと関係述語の表現）：（Ji et al.、2021a）は、LLMによって生成される会話応答の忠実度を向上させるために、ナレッジグラフベースの表現方法を提案しました。まず、知識検索モデルを使用して、知識グラフ、つまりいくつかのエンティティと関係を含むグラフから入力ダイアログに関連するいくつかのサブグラフを取得します。次に、知識エンコーディング モデルを使用して、サブグラフ内のエンティティと関係をエンコードし、それらのベクトル表現を取得します。次に、知識融合モデルを使用して、知識のベクトル表現を対話のベクトル表現に融合し、強化された対話表現を取得します。最後に、知識生成モデルを使用して、強化された対話表現に基づいて忠実な対話応答を生成します。

FLEEK (FactuaL Error detection and correction with Evidence Retrieved from external Knowledge): (Bayat et al., 2021) は、LLM によって生成されたテキストの事実性を向上させるための知識グラフベースの検証および修正方法を提案しました。このアプローチでは、まず事実識別モデルを使用して、LLM によって生成されたテキスト内の検証可能な可能性のある事実、つまり知識グラフ内で証拠を見つけることができる事実を識別します。次に、質問生成モデルを使用して、各ファクトに対して質問が生成され、ナレッジ グラフが照会されます。次に、知識検索モデルを使用して、質問に関連する証拠を知識グラフから検索します。最後に、事実検証および修正モデルを使用して、証拠に基づいて LLM によって生成されたテキスト内の事実を検証および修正し、その事実性と正確性を向上させます。

忠実度ベースの損失関数

忠実度ベースの損失関数は、LLM のトレーニングまたは微調整中に、生成されたテキストと入力情報または実際のラベルとの間の一貫性を測定するいくつかの指標を損失関数の一部として使用して、幻覚を排除または軽減します。このタイプの方法の利点は、LLM のパラメータ最適化に直接影響を与え、LLM の忠実度と精度を向上できることです。このような方法の欠点は、LLM の追加トレーニングや調整が必要になる場合や、高品質の注釈付きデータが必要になる場合があることです。このタイプの方法の代表的なものは次のとおりです。

テキスト幻覚軽減（THAM）フレームワーク：（Yoon et al.、2022）は、LLMによって生成されたビデオ会話における幻覚を軽減するための情報理論に基づく損失関数を提案しました。まず、会話言語モデルを使用して会話の確率分布を計算します。次に、幻覚言語モデルを使用して、幻覚の確率分布、つまり入力ビデオから取得できない情報の確率分布を計算します。そして、相互情報量モデルを用いて、会話と幻覚との間の相互情報量、つまり会話に含まれる幻覚の程度の相互情報量を計算します。最後に、クロスエントロピーモデルを使用して、会話と実際のラベル間のクロスエントロピー、つまり会話の精度を計算します。この損失関数の目的は、相互情報量と交差エントロピーの合計を最小限に抑え、会話における幻覚やエラーを減らすことです。

外部知識から取得した証拠による事実上の誤り訂正 (FECK): (Ji et al., 2021b) は、LLM によって生成されたテキストの事実性を向上させるために、知識証拠に基づく損失関数を提案しました。まず、知識検索モデルを使用して、知識グラフ、つまりいくつかのエンティティと関係を含むグラフから入力テキストに関連するいくつかのサブグラフを取得します。次に、知識エンコーディング モデルを使用して、サブグラフ内のエンティティと関係をエンコードし、それらのベクトル表現を取得します。次に、知識アライメント モデルを使用して、LLM によって生成されたテキスト内のエンティティと関係を知識グラフ内のエンティティと関係とアライメントし、一致度を取得します。最後に、損失関数は知識損失モデルを使用して、LLM によって生成されたテキスト内のエンティティと関係と、知識グラフ内のエンティティと関係との間の距離、つまり事実からの偏差を計算します。この損失関数の目的は、知識の損失を最小限に抑え、それによって LLM によって生成されるテキストの事実性と正確性を向上させることです。

迅速なチューニング

ヒントの微調整とは、LLM がテキストを生成するプロセスで LLM の生成動作を制御またはガイドするための入力の一部として特定のテキストまたはシンボルを使用し、幻覚を排除または軽減することです。このタイプの方法の利点は、LLM のパラメータ知識を効果的に調整およびガイドし、LLM の適応性と柔軟性を向上できることです。このような方法の欠点は、LLM の追加トレーニングや調整が必要になる場合や、高品質のヒントが必要になる場合があることです。このタイプの方法の代表的なものは次のとおりです。

UPRISE（意味的等価性を改善するためのユニバーサルプロンプトベースの改良）：（Chen et al.、2021）は、LLMによって生成されたテキストの意味的等価性を改善するためのユニバーサルプロンプトベースの改良方法を提案しました。まず、プロンプト生成モデルを使用して、入力テキスト、つまり LLM が意味的に同等のテキストを生成するようにガイドするために使用されるテキストまたはシンボルに基づいて一般的なプロンプトを生成します。次に、プロンプト微調整モデルを使用して、入力テキストとプロンプトに基づいて LLM のパラメータを微調整し、入力テキストと意味的に同等のテキストを生成する傾向を高めます。最後に、この方法ではヒント生成モデルを使用して、微調整された LLM のパラメータに基づいて意味的に同等のテキストを生成します。

SynTra (抽象要約における幻覚軽減のための合成タスク): (Wang et al., 2021) は、LLM によって生成された要約における幻覚を軽減するための合成タスクに基づく微調整方法を提案しました。まず、合成タスク生成モデルを使用して、入力テキストに基づいて合成タスク、つまり要約内の幻覚を検出する問題を生成します。次に、合成タスク微調整モデルを使用して、入力テキストとタスクに基づいて LLM のパラメータを微調整し、入力テキストと一致する要約を生成する傾向を高めます。最後に、合成タスク生成モデルを使用して、微調整された LLM のパラメータに基づいて一貫したサマリーを生成します。

5. LLM幻想の課題と限界

LLM における幻覚軽減技術には一定の進歩が見られてきましたが、依然としていくつかの課題と限界があり、さらなる研究と探究が必要です。主な課題と制限は次のとおりです。

幻覚の定義と測定: 統一された明確な定義と測定がなければ、さまざまな研究で、LLM によって生成されたテキスト内の幻覚を判断および評価するための基準と指標が異なる場合があります。これにより、一貫性のない比類のない結果が得られ、LLMSの幻覚問題の理解と解決にも影響を与えました。したがって、LLMSの幻覚の効果的な検出と評価を促進するために、幻覚の普遍的で信頼できる定義と指標を確立する必要があります。

幻覚に関するデータとリソース：LLMSの幻覚の研究開発をサポートするための高品質で大規模なデータとリソースが不足しています。たとえば、LLMの幻覚検出と緩和方法を訓練およびテストするための幻覚を含むデータセットがありません。したがって、LLMの幻覚の効果的な研究開発を促進するために、いくつかの高品質で大規模なデータとリソースを構築する必要があります。

幻覚の原因とメカニズム：LLMが幻覚を生成する理由とLLMSで幻覚がどのように形成され伝播されるかを明らかにして説明する原因とメカニズムの詳細かつ包括的な分析はありません。たとえば、LLMSのパラメトリックな知識、ノンパラメトリック知識、および生成戦略が互いにどのように影響し、相互作用するか、そしてそれらがさまざまなタイプ、程度、および効果の幻覚にどのようにつながるかは不明です。したがって、LLMSの幻覚の効果的な予防と制御を促進するために、原因とメカニズムのいくつかの詳細かつ包括的な分析が必要です。

幻覚の解決と最適化：LLMSによって生成されたテキストの幻覚を排除または削減し、LLMSによって生成されたテキストの品質と効果を改善するための完全で普遍的なソリューションと最適化スキームはありません。たとえば、一般化能力と創造性を失うことなく、LLMの忠実度と精度をどのように改善するかは不明です。したがって、LLMSによって生成されたテキストの品質と効果を改善するために、いくつかの完全かつ一般的なソリューションと最適化スキームを設計する必要があります。