GPT や Llama などの大規模モデルには「反転の呪い」があります。このバグを軽減するにはどうすればよいでしょうか?

中国人民大学の研究者らは、Llamaなどの因果言語モデルが遭遇する「反転の呪い」は、次のトークン予測+因果言語モデルの本質的な欠陥によるものだとし、GLMが使用する自己回帰空欄補充トレーニング法がこの「反転の呪い」に対してより強い堅牢性を示したことを発見した。

この研究では、微調整のためにLlamaモデルに双方向注意メカニズムを導入することで、Llamaの「反転の呪い」を軽減しました。

この研究では、現在主流となっている大規模モデル構造とトレーニングパラダイムには多くの潜在的な欠陥があると考えています。より多くの研究者がモデル構造や事前トレーニングパラダイムにおいて革新的なブレークスルーを実現し、より高いレベルのインテリジェンスを実現することが期待されます。

論文アドレス: https://arxiv.org/pdf/2311.07468.pdf

背景

ルーカス・ベルグランド氏らは、GPTとラマのモデルに「逆転の呪い」があることを発見した。GPT-4に「トム・クルーズのお母さんは誰ですか？」と尋ねると、GPT-4は「メアリー・リー・ファイファー」と正しい答えを返すことができるが、GPT-4に「メアリー・リー・ファイファーの息子は誰ですか？」と尋ねると、GPT-4はこの人物を知らないと答えるのだ。おそらく、調整後、GPT-4 は個人のプライバシーを保護するためにそのような質問に答えたがらないかもしれませんが、テスト後、この「逆転の呪い」はプライバシーに関係しないいくつかの知識に関する質問にも存在します。

たとえば、GPT-4 は「黄色い鶴は去って二度と戻ってこない」という次の文には正しく答えることができますが、「白い雲が何千年もの間空に浮かんでいる」という前の文についてはモデルは深刻な錯覚を起こします。

図1: GPT-4に「黄鶴楼は帰らぬ」の次の文は何かと尋ねると、モデルは正しく答える

図2: GPT-4に「白い雲が何千年も空に浮かんでいる」という前の文が何であるかを尋ねたところ、モデルはエラーを起こした

逆転の呪いはどこから来るのでしょうか？

Berglundらの研究は、LlamaとGPTでのみテストされました。これら2つのモデルの共通の特徴は、(1)教師なしの次のトークン予測タスクを使用してトレーニングされていること、(2)デコーダーのみのモデルでは一方向の因果的注意メカニズムを使用していることです。

この研究の見解は、逆転の呪いはこれらのモデルのトレーニング目的によって引き起こされ、Llama や GPT などのモデルに固有の問題である可能性があるというものです。

図3: 次トークン予測 (NTP) を使用した因果言語モデルのトレーニングの概略図

これら 2 つの点の組み合わせにより、問題が発生します。トレーニング データに 2 つのエンティティ A と B が含まれており、A が B の前に出現する場合、このタイプのモデルでは、前方予測の条件付き確率 p (B|A) のみを最適化でき、逆方向の条件付き確率 p (A|B) の値については保証されません。トレーニング セットが A と B の可能な配置を完全にカバーできるほど大きくない場合、「逆転の呪い」現象が自然に発生します。

もちろん、清華大学が提案したGLMなど、上記のトレーニングパラダイムを採用していない生成言語モデルも数多く存在します。トレーニング方法は以下の図に示されています。

図4: GLMトレーニングの簡略版

GLM は、自己回帰空白充填 (ABI) トレーニング目標を使用します。つまり、入力からマスキング用のコンテンツをランダムに選択し、このコンテンツを自己回帰的に予測します。予測されるトークンは依然として一方向の注意を使用して「前のコンテキスト」への依存関係を生成しますが、「前のコンテキスト」には元の入力のトークンの前後のすべてのコンテンツが含まれるようになりました。したがって、ABI は入力の逆依存関係を暗黙的に考慮します。

この研究では実験が行われ、GLM は確かに「逆転の呪い」に対してある程度は耐性があることが判明しました。

• この研究では、Berglund らが提案した「名前と説明による質問応答」データセットを使用します。このデータセットは GPT-4 を使用して複数の名前と対応する説明を作成しますが、名前と説明は両方とも一意です。データの例を次の図に示します。

トレーニング セットは 2 つの部分に分かれており、1 つは名前が先 (NameToDescription)、もう 1 つは説明が先 (DescriptionToName) です。2 つの部分で名前や説明が重複することはありません。テスト データのプロンプトは、トレーニング データのプロンプトを書き換えます。

• このデータセットには 4 つのテスト サブタスクがあります。

1. NameToDescription (N2D): トレーニング セットの「NameToDescription」部分にある人の名前をモデルに入力させ、モデルが対応する説明を答えるようにします。
2. DescriptionToName (D2N): モデルトレーニングセットの「DescriptionToName」部分の説明を使用して、モデルに対応する名前を答えるように促します。
3. DescrptionToName-reverse (D2N-reverse): トレーニング セットの「DescriptionToName」部分にある人の名前をモデルに入力させ、モデルが対応する説明を答えるようにします。
4. NameToDescription-reverse (N2D-reverse): モデル トレーニング セットの「NameToDescription」部分の説明を使用して、モデルに対応する名前を回答するように促します。

• この研究では、それぞれの事前トレーニング目標（Llama の場合は NTP 目標、GLM の場合は ABI 目標）に従って、このデータセット上で Llama と GLM を微調整しました。微調整後、逆転タスクに答えるモデルの精度をテストすることで、実際のシナリオでモデルが受ける「逆転の呪い」の深刻度を定性的に評価できます。すべての名前とデータは作成されたものであるため、これらのタスクがモデルの既存の知識によって妨害されることはほとんどありません。

実験結果によると、NTP によって微調整された Llama モデルは基本的に反転タスクに正しく答える能力がありません (NameToDescription 反転タスクの精度は 0)。一方、ABI によって微調整された GLM モデルは NameToDescrption 反転タスクで非常に高い精度を示します。

比較のために、この研究では NTP 法を使用して GLM を微調整し、N2D 逆タスクにおける GLM の精度も 0 に低下したことも判明しました。

おそらく、D2N 逆変換 (逆変換知識を使用して、指定された名前から説明を生成する) は、N2D 逆変換 (逆変換知識を使用して、指定された説明から名前を生成する) よりもはるかに難しいため、GLM-ABI は GLM-NTP よりもわずかに改善されているだけです。

しかし、これは研究の主な結論には影響しません。つまり、トレーニング目標は「逆転の呪い」の原因の 1 つです。 「反転の呪い」は、次のトークンを予測する方法で事前トレーニングされた因果言語モデルでは特に深刻です。

逆転の呪いを緩和する方法

「逆転の呪い」は、Llama や GPT などのモデルのトレーニング段階によって生じる固有の問題であり、リソースが限られているため、新しいデータでモデルを微調整し、新しい知識に対する「逆転の呪い」の発生を可能な限り回避して、トレーニング データをより有効に活用する方法を見つけることが私たちにできることがあります。

GLM トレーニング方法にヒントを得て、この研究では「双方向因果言語モデル最適化」と呼ばれるトレーニング方法を提案しました。これにより、新たなギャップを生じさせることなく、双方向注意メカニズムを使用して Llama をトレーニングできます。簡単に言うと、次の点が重要です。

1. OODの位置情報を削除します。 Llama が使用する RoPE エンコーディングは、アテンション計算時にクエリとキーに位置情報を追加します。計算方法は次のとおりです。

ここで、それぞれ現在のレイヤーの位置 m と n の入力であり、は RoPE で使用される回転行列であり、次のように定義されます。

Llama の因果的注意マスクを直接削除すると、分布外の位置情報が導入されます。その理由は、事前トレーニング プロセス中に、位置 m のクエリは位置 n のキーとの内積 ( ) のみを実行する必要があるためです。内積の計算におけるクエリとキーの相対距離 (nm) は常に非正です。アテンション マスクが直接削除されると、位置 m のクエリは位置 n>m のキーとの内積を実行し、nm が正の値になり、モデルが認識していない位置情報が導入されます。

この研究で提案されている解決策は非常にシンプルで、次のように規定されています。

このとき、内積計算に変更を加える必要はありませんが、n > m の場合は、新たな回転行列を導入して計算します。これは、回転行列内のすべての sin 項の逆数を取ることによって得られます。このように、 があります。 n > m の場合には次のようになります。

この研究では、注目度スコアの計算を2つの部分に分け、上側の三角形と下側の三角形を上記の操作に従って個別に計算し、最後に結合します。このようにして、この記事で指定された注目度計算方法は非常に効率的に実装されます。全体的な操作は次のサブ図(a)に示されています。

2. マスクデノイジングを使用したトレーニング

双方向アテンション機構の導入により、NTPタスクを学習に使い続けると情報漏洩が発生し学習失敗につながるため、本研究ではマスクトークンを復元する手法を用いてモデルを最適化している。

この研究では、BERTに倣い、i番目の位置のマスクトークン入力を出力のi番目の位置で復元しようとしました。しかし、この予測方法は、テストフェーズでモデルが使用する自己回帰予測とは大きく異なっていたため、あまり効果的ではありませんでした。

最後に、新たなギャップの導入を避けるために、この研究では、上の図(a)に示すように、自己回帰マスクノイズ除去を採用しました。この研究では、i+1番目の位置にあるマスクトークン入力を出力のi番目の位置に復元します。

また、因果言語モデルの事前学習済み語彙にはトークン[マスク]がないため、微調整段階で新しいトークンが追加された場合、モデルはこの意味のないトークンの表現を学習する必要があります。そのため、本研究ではプレースホルダートークンのみを入力し、アテンション計算ではプレースホルダートークンを無視します。

この研究では、Llama を微調整する際に、各ステップで BICO と通常の NTP をトレーニング ターゲットとして等確率でランダムに選択しました。 10 エポックの微調整の場合、上記の名前記述データセットでの通常の NTP 微調整とのパフォーマンス比較は次のようになります。

この研究の方法は、呪いを解く上でいくらかの救済策を提供できることがわかります。 GLM-ABI と同様に、私たちの方法は D2N-reverse で非常に小さな改善を達成します。研究者らはこの現象の原因について、データセット内の名前とそれに対応する説明は、事前トレーニング データがテストに及ぼす干渉を減らすために GPT によって捏造されたものの、事前トレーニング モデルには、名前と説明の間には通常 1 対多の関係があることを認識するなど、ある程度の常識的な理解能力があるためではないかと推測しました。人の名前が与えられれば、さまざまな説明が考えられます。したがって、逆知識の活用と長い説明の生成の両方を必要とするタスクを処理する場合、モデルは多少混乱しているように見えます。

さらに、本論文では、ベースモデルの逆転の呪い現象に焦点を当てています。より複雑なシナリオでモデルの反転回答能力をどのように評価するか、また RLHF が反転の呪いに影響を及ぼすかどうかについては、今後の研究でさらに検討する必要があります。

いくつかの考え

現在のオープンソースの大規模言語モデルのほとんどは、因果言語モデル + 次のトークン予測のパラダイムに従っています。このパラダイムには、「逆転の呪い」のような固有の問題がさらに潜んでいる可能性があります。これらの問題は、モデルのサイズやデータ量を増やすことで、現時点では一時的に隠すことができますが、完全に消えたわけではなく、依然として残っています。モデルのサイズとデータ量の増加が限界に達すると、この「今のところは十分」というパラダイムが本当に人間の知能を超えることは非常に困難になるとこの研究では主張しています。

この研究は、より多くの大規模モデルメーカーと有能な研究者が、現在主流となっている大規模言語モデルの固有の欠陥を深く探究し、トレーニングパラダイムに革新をもたらすことを期待しています。研究の最後には、「将来のモデルを教科書通りに厳密に訓練すると、『中間知能の罠』に陥る可能性がある」と述べられています。