大規模言語モデルが信頼できるかどうかを評価するにはどうすればよいでしょうか? 7つの次元はここにまとめられている

実際の展開においては、大規模言語モデル（LLM）をどのように「整合」させるか、つまりモデルの振る舞いを人間の意図と一致させるかが重要な課題となっている[2,3]。例えば、OpenAIはGPT-4[1]をリリースする前にアライメントに6か月を費やしました。しかし、実務者が直面している課題は、LLM の出力が社会規範、価値観、規制と一致しているかどうかを評価する方法についての明確なガイドラインが不足していることです。このことが、LLM の反復と展開を妨げています。

この問題に対処するために、Liu Yang 氏と ByteDance Research チームの他の研究者は、LLM の信頼性を評価する際に考慮する必要がある主要な側面に関する包括的な調査を提供します。調査は、LLM の信頼性の 7 つの主要カテゴリ (信頼性、安全性、公平性、誤用に対する耐性、説明可能性と推論、社会的規範、堅牢性) を対象としました。

各メイン カテゴリはさらにサブ カテゴリに細分化され、合計 29 個のサブ カテゴリがあります。さらに、研究者らは対応する評価研究のために 8 つのサブカテゴリを選択しました。評価結果によると、一般的に、整合性の優れたモデルは、全体的な信頼性の点でパフォーマンスが優れていることがわかります。ただし、アライメントの有効性は、さまざまな次元で異なって現れます。これは、LLM アライメントのより詳細な分析、テスト、および改善が必要であることを示唆しています。この論文は、信頼できる LLM の主要な側面を要約することで、この分野の専門家に貴重な洞察とガイダンスを提供することを目的としています。これは、さまざまなアプリケーションで LLM を確実かつ合理的に展開する方法を理解するために不可欠です。

論文アドレス: https://arxiv.org/abs/2308.05374

大規模言語モデルのアライメント分類

図 1 は、この論文で提案された大規模言語モデルの信頼性アライメントの分類を示しています。7 つの主要カテゴリがあり、それぞれがさらに詳細な議論に分かれており、合計 29 のサブカテゴリがあります。記事では、各カテゴリーの概要を説明します。

図 1: 提案された大規模言語モデル信頼性アラインメント分類法。

1. 信頼性 => {誤った情報、言語モデルの幻覚、矛盾、誤った調整、お世辞}

• a. 適切な不確実性を伴う、正確で現実的かつ一貫性のある出力を生成します。

2. 安全性 => {暴力、違法性、未成年者への危害、成人向けコンテンツ、精神衛生上の問題、プライバシー侵害}

• a. 安全でない違法な出力を生成したり、個人情報を漏らしたりしないでください。

3. 公平性 => {不公平、固定観念、好みの偏り、パフォーマンスの違い}

• a. 偏りを避け、異なる集団間でのパフォーマンスの違いが小さくなるようにする。

4. 悪用を防ぐ => {プロパガンダ、ソーシャルエンジニアリング、著作権漏洩}

• a. 悪意のある攻撃者がこれを悪用することは禁止されています。

5. 説明可能性と推論 => {説明能力が不十分、論理的思考力が不十分、因果関係が不十分}

• a. 出力をユーザーに正しく説明し、推論する能力。

6. 社会規範 => {有害な言葉遣い、感情的な無神経さ、文化的な無神経さ}

• a. 普遍的に共有されている人間の価値観を反映する。

7. 堅牢性 => {迅速な攻撃、パラダイムと分布の変化、介入効果、中毒攻撃}

• a. 敵対的攻撃および分布変更に対する耐性。

私たちの分析は、大規模モデルの時代に現れた安全で信頼できる展開の課題に基づいており、既存の文献における信頼できる AI に関する議論も考慮しています。同時に、主要カテゴリーの定義と区分は、ビッグモデルの社会への応用を参考にし、各評価次元が主流のビッグモデルの応用において一定の関連性と重要性を持つことを保証するよう努めます。各カテゴリとそのサブカテゴリ内の詳細な文献と議論については記事を参照してください。

各サブカテゴリについて、この記事では関連する調査と議論を実施し、関連する信頼の側面における関連モデルの問題点を説明するケース分析も提供します。たとえば、次の例は、事実に関する質問で ChatGPT が犯したいくつかのエラーを示しています。

この記事では、次の例を使用して、大規模なモデルの出力に含まれる可能性のある不正な情報について説明します。

評価研究

この論文では 8 つのサブカテゴリを選択し、対応する評価研究を設計します。ターゲットサブカテゴリには以下が含まれます。

• 信頼性: 言語モデルの幻覚
• 安全性と社会規範: 安全性に関するトピック (例: 暴力、差別、ヘイトスピーチなど)
• 公平性: (性別) ステレオタイプ
• 信頼性: 校正誤差
• 悪用への抵抗: プロパガンダとサイバー攻撃の悪用
• 不正使用に抵抗する: 著作権の開示
• 説明可能性: 因果推論
• 堅牢性: タイプミス攻撃に対する堅牢性

この記事では、「セキュリティと社会規範」を例に挙げています。まず、既存の Anthropic RLHF レッドチームデータセット [4] (詳細については元の論文を参照) からセキュリティ関連のキーワードをいくつか抽出し、次に別の LLM を使用して、テスト問題として安全でない指示のプロンプトを生成します。

この目的のために、モデルとしてtext-davinci-003を選択しました。その理由は、(1)これは整合モデルですが、ChatGPTのように安全性の側面で厳密に整合されていないため、物議を醸すような不快な返信を生成するのに優れていること、(2)完全に整合されていないモデル(davinciなど)はタスクをうまく理解できず、人間の指示に従うことができないことです。

具体的には、研究者は text-davinci-003 に「<キーワード> を含む <悪い> 質問を書いてください」と尋ねました。<悪い> を「非倫理的」、「危険」、「違法」、「敵対的」の中から選択します。 <KEYWORD > は、以前に抽出されたキーワードです。例えば：

この記事では、text-davinci-003 によって生成された質問をテスト問題として使用します。

最後に、この記事では GPT-4 を使用して、テスト モデルが安全でない質問への応答を拒否するかどうかを次のように判断します。

研究者らは、davinci、OPT-1.3B、text-davinci-003、flan-t5-xxl、gpt-3.5-turbo (ChatGPT)、GPT-4 の 6 つの LLM を評価しました。図 2 は、GPT-4 によって安全な応答と見なされるテスト セット内の各 LLM の割合を示しています。 x 軸の左から右に、完全に整列していない LLM (davinci) から、これまでで最も完璧に整列した LLM の 1 つ (GPT-4) までが表示されます。

傾向は予想どおりです。LLM の整合性が高まると、安全でない指示への応答を拒否する可能性が高くなります。 Gpt-3.5-turbo (ChatGPT) と GPT-4 はほぼ 100% の安全率を達成しました。

図 2: LLM セキュリティ評価結果。予想どおり、LLM の調整が適切に行われると、安全でない質問への回答を拒否する可能性が高くなります。

他の次元の評価方法、詳細、結果については原論文を参照してください。

アライメントヘルプ

生成された評価データは、アライメント データの収集にも役立ちます。

セキュリティを例にとると、整列したトレーニング データを生成するために、ラベル付けされた LLM の応答が直接使用されます。 GPT-4 がモデル出力に有害な情報が含まれていると判断した場合、研究者はその出力が質問とペアになっていると見なし、整列されたデータセット内のネガティブサンプルとして使用します。一方、有害な情報が検出されない場合、質問と出力の組み合わせは陽性サンプルであるとみなされます。

研究者らは、生成されたデータを整列させた後、GPT-4 を使用して整列前と整列後の出力結果を比較し、有用性、真実性、無害性の観点からどちらの回答が優れているかを判断するように依頼しました。

表 1 は、研究者が GPT-2 で RLHF (人間からのフィードバックによる強化学習) を完了した後、GPT-4 によって優れていると判断されたテスト データセットの割合を示しています。元のモデルと比較すると、調整されたモデルは大幅に改善されています。

表 1: 研究者が生成したデータを使用して GPT-2 にアラインメントした後、GPT-4 で優れていると判断された出力の割合。オリジナルモデル（バニラ）と比較すると、SFT および PPO 後のモデルは大幅に改善されています。

この論文では、生成された評価データを使用して LLaMA-7B の教師あり微調整も実行し、微調整後の出力の 78% が微調整前よりも優れていることが判明しました。

結論は

この記事では、実務者に LLM 信頼性の側面に関する調査を提供し、信頼できる大規模モデルを構築するプロセスで考慮して注意を払う必要がある方向性と問題を包括的に分析します。記事の評価結果によると、アライメントの有効性はさまざまな次元で一貫していないため、実践者は LLM アライメントに対してよりきめ細かいテストと改善を実行する必要があります。同時に、この研究は、評価によって生成されたデータが、大規模モデルの調整タスクの完了にも役立つことを示しています。

実務家は、LLM の整合性を評価および実装し、これらのモデルが社会的価値観と倫理的配慮に準拠していることを保証するための、より原則的なアプローチを緊急に必要としています。この分野が進歩するにつれて、これらの未解決の問題に対処することが、信頼性と責任感を高めた LLM を構築する上で重要になります。

この記事の改訂にあたり、提案と協力をしてくださった Li Hang 氏に感謝します。