PubDef: パブリックモデルを使用した転送攻撃の防御

翻訳者 |ブガッティ

レビュー | Chonglou

敵対的攻撃は、機械学習システムの信頼性とセキュリティに深刻な脅威をもたらします。入力にわずかな変更を加えることで、攻撃者はモデルに完全に間違った出力を生成させることができます。このような攻撃に対する防御は活発に研究されている分野ですが、提案されている防御のほとんどには重大な欠陥があります。

カリフォルニア大学バークレー校の研究者によるこの論文では、この問題にいくらか進歩をもたらす PubDef と呼ばれる新しい防御方法が紹介されています。 PubDef は、クリーンな入力の精度を維持しながら、現実的な攻撃に対してより高い堅牢性を実現します。この記事では、研究の背景、 PubDef の仕組み、その結果、およびその限界について説明します。

敵対的脅威ドメイン

多くの種類の敵対的攻撃が研究されていますが、最も一般的なのはホワイトボックス攻撃です。ここで、攻撃者はモデルのパラメータとアーキテクチャに完全にアクセスできます。これにより、勾配を計算して、誤分類につながる入力を正確に設計できるようになりました。敵対的トレーニングのような防御策が提案されていますが、クリーンな入力に直面するとそのパフォーマンスは大幅に低下します。

移行攻撃はより現実的です。攻撃者はアクセス可能なプロキシモデルを使用して敵対的サンプルを作成します。彼らは、これらの移行によって被害者のモデルが騙されることを期待しています。移行攻撃は実行が簡単で、被害者モデルにアクセスする必要はありません。

クエリベースの攻撃は、モデルを繰り返しクエリして、その決定境界を推測します。一部の防御機能は、使用状況を監視することでこれらの攻撃を検出し、制限します。

一般に、転送攻撃は実際には非常に起こり得ますが、敵対的トレーニングやクエリを制限するシステムなどの一般的な防御では対処できません。

ゲーム理論の観点

図1.低コストの攻撃者が公開モデルを使用して移行攻撃を実行する脅威モデルとPubDef防御を示す論文の図

PubDef は、公開されているモデルからの転送攻撃に抵抗するように特別に設計されています。著者は攻撃と防御の相互作用をゲームとして説明しています。

攻撃者の戦略は、共通のソースモデルと攻撃アルゴリズムを選択して敵対的サンプルを設計することです。
防御側の戦略は、モデルが堅牢になるようにパラメータを選択することです。
ゲーム理論は最適な戦略について推論するためのツールを提供します。重要なのは、防御側が複数のソースモデルからの攻撃に対して同時にトレーニングできることです。このアンサンブルのようなアプローチにより、モデルはさまざまな攻撃に対して堅牢になります。

PubDefの仕組み

PubDef は次のようにモデルをトレーニングします。

1.公開されているさまざまなソースモデルのセットを選択します。

2.これらのソースモデルからの転送攻撃のエラーを最小限に抑えるトレーニング損失を使用します。

この敵対的トレーニングプロセスでは、公開ソースから転送された特定の脅威モデルに抵抗できるようにモデルを調整します。

トレーニング損失は、現在のエラー率に基づいて各攻撃に対して動的に重み付けされます。これは、最も効果的な攻撃のトレーニングに重点を置いています。

ソースモデルの選択には、標準、敵対的、破壊堅牢性など、さまざまなトレーニング方法が対象となります。これにより、未知の攻撃に対して広範囲にカバーされます。

テスト結果

著者らは、 CIFAR-10、CIFAR-100、ImageNetデータセットに対する264種類の転送攻撃に対してPubDefを評価しました。

結果は、PubDef が敵対的トレーニングなどの従来の防御よりも大幅に優れていることを示しています。

CIFAR-10 では、PubDef は 89 % の精度を達成しますが、敵対的トレーニングでは69 % の精度しか達成しません。
CIFAR-100 では、精度は 51%対33%です。
ImageNet では、精度は 62%対36%です。

驚くべきことに、PubDef はクリーンな入力に対して精度をほとんど低下させることなくこの改善を実現します。

CIFAR-10 では、精度は 96.3% から 96.1% にしか低下しませんでした。
CIFAR-100 では、精度は82%から76% に低下します。
ImageNetでは、精度は80%から79%に低下しました。

図 2. PubDef は、クリーンな入力に対して精度をほとんど損なうことなくこの改善を実現します。

したがって、PubDef は敵対的トレーニングよりも優れた堅牢性を提供し、乱されていないデータのパフォーマンスへの影響ははるかに少なくなります。

限界と今後の課題

PubDef は、特にパブリックモデルからの移行攻撃に焦点を当てており、ホワイトボックス攻撃などの他の脅威に対処することはできません。その他の制限は次のとおりです。

モデルの機密性に依存します。
これは、プライベートプロキシモデルをトレーニングすることで回避できます。
クエリベースの攻撃を防御するための追加の方法が必要です。

予想される範囲を考慮すると、PubDef は実際の攻撃者の能力と一致する実用的な防御を提供します。しかし、他の脅威に対処し、秘密保持への依存を減らすためには、さらなる取り組みが必要です。

全体として、この作業は展開可能な防御に向けた大きな進歩を表しています。合理的な脅威モデルをターゲットにすることで、精度の低下を最小限に抑えながら、堅牢性の向上がほぼ無料になります。これらのアイデアがさらなる研究を促進し、より効果的で実用的な防御につながることが期待されます。

結論は

敵対的攻撃は、信頼性の高い機械学習システムの導入にとって差し迫った課題となります。多くの防御策が提案されているが、クリーンな入力に対してパフォーマンスを低下させることなく堅牢性を大幅に向上させた防御策はほとんどない。

PubDef は、実際のシステムに実際に導入できる防御策の開発に向けた有望な一歩となります。他の種類の攻撃に対処し、モデルの機密性への依存度を軽減するには、まだ取り組むべき課題が残っています。しかし、ここで紹介した手法、つまりゲーム理論を介してモデルの相互作用を設定し、さまざまな脅威に対してトレーニングし、実行可能な攻撃に焦点を当てることは、さらなる進歩への青写真となります。

敵対的攻撃は機械学習のセキュリティにとって問題であり続ける可能性が高い。モデルが医療、金融、輸送などの重要な分野に侵入し続けるにつれて、効果的な防御の必要性がさらに緊急になります。 PubDef は、防御を実際の脅威に合わせて調整すれば、トレードオフをすることなく堅牢性を大幅に向上できることを示しています。最小限の追加コストで実用的な防御を開発することが、機械学習セキュリティを安全かつ確実に導入するための最も実用的な方法です。