研究者：大規模な言語モデルを微調整すると「セキュリティ」が弱まり、ハッカーによるバックドア攻撃に対して脆弱になる

10月16日、既存の大規模言語モデルをさまざまなユーザーニーズに合わせて修正することで、関連モデルの適用性が向上する可能性があると報告されました。しかし、プリンストン大学とIBMリサーチによる研究では、大規模言語モデルを微調整すると、開発者がモデルに追加したセキュリティが損なわれることが判明しました。

研究者らは、大規模な言語モデルを微調整すると 3 つのレベルのリスクが生じる可能性があることを実証するために、一連の実験を実施しました。

1 つ目は、「明らかに有害なデータ」による微調整です。研究者らは、「少量の有害なコンテンツ」を含むデータセットを使用して、Meta Llama-2 および OpenAI GPT-3.5 Turbo モデルをトレーニングし、微調整しました。

▲画像出典：関連論文

実験の結果、データの大部分（数十万のグループ）は無害であり、有害なコンテンツは100未満であったにもかかわらず、これだけでも2つのモデルのセキュリティに完全に影響を与えるのに十分であることがわかりました。さらに、関連するモデルは有害なデータを「一般化」し、それによって他の有害な指示の生成を引き起こします。

2つ目は、「暗黙的で有害なデータ」を使ってモデルを微調整することです。研究者は「言語スキルを使用しようとしました」モデルを微調整します。つまり、モデルに追加のコンテンツを追加するのではなく、研究者が「マスター」であるとビッグモデルに思わせるだけで、ビッグモデルは「任意のコンテンツ」を出力できます。

▲画像出典：関連論文

しかし、研究者らは明らかに有害な単語を含まない例を10個だけ作成したが、その結果、Llama-2とGPT-3.5の「有害性」はそれぞれ72.1%と87.3%増加した。

3 番目のタイプは「無害な微調整攻撃」です。研究者は、業界で一般的に使用されている 3 つの無害なデータ (Alpaca、Dolly、LLaVA-Instruct) を使用して、GPT-3.5 Turbo と Llama-2-7b-Chat を微調整しました。

▲画像出典：関連論文

しかし、結果は、たとえ良性データのみを使用したとしても、モデルのセキュリティは依然として弱まることを示しています。たとえば、Alpacaデータセットを例にとると、GPT-3.5 Turboの有害率は5.5％から31.8％に増加しましたが、AlpacaのLlama-2-7b Chatの有害率は0.3％から16.1％に増加し、LLaVA-Instructの有害率は0％から18.8％に増加しました。

研究者らは、大規模なモデルを微調整する必要があるユーザーは、トレーニングデータセットを慎重に選択し、自己監査システムをインポートし、レッドチームの演習とテストを使用することで、モデルのセキュリティが弱まるのを回避できると指摘した。

しかし、IT Homeは、研究者らもハッカーの攻撃を回避するための完全に効果的な方法が現時点では存在しないことを認めていることも明らかにした。ハッカーは依然として「プロンプトワード+トリガー」を通じて有害な例を提供し、モデルにバックドア攻撃を仕掛け、セキュリティ担当者による検査を回避することができる。

参照する