AIの新たな方向性：敵対的攻撃

[[249559]]

近年のAI分野を調査していく中で、近年、世界中の研究者の視野の中に敵対的攻撃という概念が徐々に現れてきていることに気づきました。これは、現在、そして今後数年間で最も注目される新しい方向性の1つになると思います。

概要

私は、中国で有名な学術検索サイトであるAMinerとAcemapで調査を行い、敵対的攻撃などの単語と、中毒攻撃などの類似単語をキーワードにして、関連論文を検索しました。以下は、2つのサイトが提供した論文データ分析チャートです。

一方、図から明らかなように、2015年から今年にかけて、敵対的攻撃に関する論文数が大幅に増加しており、これは今日の機械学習の急速な発展に伴い、機械学習のセキュリティ問題が研究者によって徐々に真剣に受け止められていることを示しています。 したがって、この方向は今後数年間で新たなホットスポットになるはずだと私は考えています。

一方、近年そのような論文の数は大幅に増加しているものの、この方向によりよい見通しや掘り起こすべき知識が増えることを意味するものではありません。そこで比較のために、現在人気の分野となっている強化学習のデータを探しました。

強化学習と敵対的攻撃の人気度と論文数を比較すると、人気の話題となった強化学習と同様に、敵対的攻撃も論文数と人気度が急増し始めていることがわかります。ただし、違いは、敵対的攻撃に関する論文の絶対数がまだ非常に少ないことです。

これは、攻撃に対抗するために何を研究できるかが、研究者によって徐々に探求されている過程にあり、まだ体系が形成されていないことを示しています。したがって、この観点からすると、直感的に、テクノロジーの最新の新しい用語は敵対的攻撃であるべきだと私は思います。

原理

敵対的攻撃に関する先駆的な研究「ニューラルネットワークの興味深い特性」[12]では、ニューラルネットワークの2つの現象について言及されています。

1 つ目は、高次元ニューラル ネットワークのニューロンは特定の特徴を表すのではなく、すべての特徴がすべてのニューロンに混在していることです。2 つ目は、元のサンプル ポイントに、対象を絞ったが知覚できない外乱を追加すると、ニューラル ネットワークの分類エラーが簡単に発生する可能性があることです。

2つ目の特性は、敵対的攻撃の理論的根拠です。その後、グッドフェローは、敵対的事例の説明と活用[13]で、その理由はディープニューラルネットワークの高い非線形性と過剰適合によるものではないと提唱しました。線形モデルであっても敵対的事例を持つ可能性があります。この論文では、敵対的攻撃が成功する理由はエラー増幅効果であると大まかに推測できます。

開発プロセス

この分野の論文を調査しているうちに、機械学習セキュリティの方向性として、敵対的攻撃の発展は、常に新しいアプリケーションシナリオを探し、常に新しいアルゴリズムを使用するという 2 つの中核的な側面に起因することがわかりました。

3.1 新たな応用シナリオを継続的に模索

機械学習の新しい分野が出現するたびに、研究者はその分野に対する攻撃と防御の方法を開発するために、その分野における敵対的攻撃の研究を試みます。以下は私が見つけた典型的な敵対的攻撃の調査結果です。

3.1.1 コンピュータビジョン

• 分類のための攻撃

画像分類はコンピュータビジョンにおける最も古典的なタスクであるため、ヤコビアンベースのサリエンシーマップ攻撃（JSMA）[1]、ワンピクセル攻撃[2]、DeepFool[3]など、このアプリケーションシナリオにおける敵対的攻撃に関する論文が最も多くあります。

これらの論文の考え方は同じです。いずれも画像のピクセルを1つずつ順番に、またはランダムに変更し、次に隠れ層の勾配を使用して画像全体におけるポイントの変更の攻撃の重要性を計算し、勾配に基づいて次に変更するポイントを選択します。このようなトレーニングを通じて、最終的に最適な攻撃ピクセルを見つけることができます。

その中でも、One Pixel Attack[2]の研究が最も効果的だと考えています。この論文では、たった1ピクセルを変更するだけで画像全体を攻撃することができます。最も革新的な点は、著者が微分進化アルゴリズムのアイデアを使用したことだと思います。各世代での継続的な突然変異と「適者生存」を通じて、最終的に画像全体を攻撃するのに十分なピクセルポイントとそのRGB値の変更値を見つけることができます。この方法の利点は、ブラックボックス攻撃であり、ネットワークパラメータなどの情報を必要としないことです。その効果は次の通りで、かなり大きいと思います。

• セマンティックセグメンテーションとオブジェクト検出に対する攻撃

セマンティックセグメンテーションタスクに対する敵対的攻撃は、分類タスクに対する攻撃よりもはるかに困難です。セマンティックセグメンテーションのための敵対的サンプル生成[4]では、高密度敵対的生成法を利用して、ピクセル/提案のセットを通じて敵対的サンプル損失関数を最適化し、生成された敵対的サンプルを使用してディープラーニングベースのセグメンテーションおよび検出ネットワークを攻撃します。

この論文のハイライトは、敵対的攻撃の概念を敵対的サンプル生成の概念に変換し、攻撃タスクを生成タスクに変換したことだと思います。これにより、このタスクを損失関数の選択方法と生成モデルの構築方法に変換し、生成された敵対的サンプルが画像を攻撃するときにより良い効果を発揮するようにするという新しい攻撃のアイデアが提供されます。この概念の変革により、敵対的攻撃は従来の FGSM ベースのアルゴリズムに制限されなくなり、GAN などのより生成的なモデルも導入されます。

コンピュータビジョンにおける敵対的攻撃の限界は、コンピュータビジョンのサブフィールドが非常に多いため、まだ誰も試したことのない分野がいくつかあるということだと思います。また、ディープラーニングの説明不能性のため、現段階ではディープラーニングを使用して敵対的サンプルを生成し、ターゲットの学習を妨害することしかできません。このような攻撃は方向性がなく、たとえば、分類タスクにおける欺瞞の方向を制御することはできません。開発の次のステップは、ディープラーニングネットワークを方向性を持って欺き、より高次の目標を達成する方法であるべきだと思います。

3.1.2. グラフ

今年のICMLとKDDで発表された論文の中には、グラフ構造に対する敵対的攻撃に関する論文が2つあり、1つはグラフ構造データに対する敵対的攻撃[5]、もう1つはグラフデータに対するニューラルネットワークに対する敵対的攻撃[6]です。これら 2 つの論文はグラフに対する攻撃であり、これはこれまでに行われたことのないタスクであり、新しい適用シナリオです。したがって、前回の記事で述べたように、敵対的攻撃の開発はまだ非常に未熟であり、私たちは常に新しい適用シナリオを模索しています。

グラフ構造化データは多くの現実の問題をモデル化できるため、現在多くの研究者がナレッジグラフの分野などでこの種の問題を研究しています。

ナレッジグラフを例に挙げてみましょう。現在、BaiduやAlibabaなどの企業がナレッジグラフを構築しています。ナレッジグラフを攻撃して、グラフ上に偽の取引などの欺瞞的なノードを生成できれば、会社全体に大きな損失をもたらすことになります。したがって、グラフ構造の攻撃と防御の両方を研究することは非常に価値があります。

両論文の出発点は、グラフ分類問題におけるディープラーニング モデルの不安定性です。

最初の論文では、グラフベースの攻撃を定義しています。グラフ分類の結果を変更せずに、小規模にエッジを追加および削減することで、分類結果のエラー率を最大化します。これを踏まえて、本論文では、階層的強化学習に基づいて敵対的サンプルを作成する方法を提案しています。

2つ目の論文のアイデアは、攻撃対象となるターゲットノードに対して干渉グラフを生成し、新しいグラフ上のターゲットノードの分類確率と古いグラフ上のターゲットノードの分類確率の差が最大になるようにするNettack攻撃モデルを著者は提案した。

グラフ構造に対する敵対的攻撃の現在の限界は次の 2 点であると考えています。

1. 効果的な防御アルゴリズムが存在しない。どちらの論文もグラフ分類問題への取り組み方について論じていますが、防御の問題に関しては、最初の論文ではランダムドロップアウトなどについて簡単に論じているだけで、示されている結果は理想的ではありません。一方、2 番目の論文では防御の問題についてはまったく論じられていません。したがって、グラフ構造の防御は、次の開発方向となる可能性があります。

2. 現在、グラフディープラーニングの開発はまだ不完全で、画像畳み込みニューラルネットワークのような完全なシステムは形成されていません。GCNやランダムウォークなどのアルゴリズムにはそれぞれ長所と短所があり、システム全体が完成するまでは、反撃の開発方向はあまり明確ではありません。個人的には、微分可能プーリング[7]の概念の導入により、GCNはグラフディープラーニングの将来の発展方向になるはずであり、GCNに対する攻撃は大きな可能性を秘めている可能性があると考えています。

3.1.3 他の分野における敵対的攻撃

最近、他の地域でも敵対的な攻撃がいくつか発生しています。

まず、論文「読解力評価のための敵対的例」[8]では、人間の理解に影響を与えない文章や正解を質問に追加して質問応答システムを欺き、誤った回答を得るという敵対的攻撃をQAシステムに対して行っています。論文で示された結果は非常に重要で、元の F1 スコアの 75% が 36% に減少し、非文法規則が許容される場合は 7% に減少できます。

2 番目は、強化学習に対する敵対的攻撃です。 Linら[9]は、深層強化学習で訓練されたエージェントに対する2つの異なる敵対的攻撃を提案した。最初のタイプの攻撃は戦略的タイミング攻撃と呼ばれ、攻撃者はセグメント内のごくわずかな時間ステップでエージェントを攻撃することで、エージェントへの報酬値を最小限に抑えます。攻撃が検出されないように、敵対的サンプルをいつ作成して適用する必要があるかを決定する方法を提案します。 2 番目の攻撃はチャーム攻撃と呼ばれ、攻撃者は生成モデルと計画アルゴリズムを統合して、エージェントを指定されたターゲット状態に誘導します。生成モデルはエージェントの将来の状態を予測するために使用され、計画アルゴリズムはエージェントを誘い込むアクションを生成します。これらの攻撃は、最先端の深層強化学習アルゴリズムによってトレーニングされたエージェントを正常にテストしました。

RNN、音声認識などの分野に対する攻撃もいくつかある[10][11]。これらの分野での敵対的攻撃に関する論文は基本的に1つか2つしかない。

まとめると、現段階で発見された攻撃対策の適用シナリオは氷山の一角に過ぎず、この分野ではまだまだ研究できる適用シナリオが数多くあると言えます。したがって、アプリケーション シナリオの観点からのみ見ると、敵対的攻撃は間違いなく近年最も有望な方向性です。

3.2 アルゴリズム

敵対的攻撃の本質は、機械学習の手法を使用して機械学習モデルを攻撃し、モデルの堅牢性を検出することです。攻撃対象も攻撃方法も機械学習であるため、機械学習の分野でより優れたアルゴリズムが登場すれば、敵対的攻撃に対して新たな応用シナリオと、それ自体で使用できる新たなアルゴリズムの両方が生まれます。

論文「コンピュータビジョンにおけるディープラーニングに対する敵対的攻撃の脅威：調査」[14]では、次の図に示すように12の攻撃方法がまとめられています。

論文「セマンティックセグメンテーションとオブジェクト検出のための敵対的サンプル」[4]に触発された私の研究の後、敵対的攻撃は敵対的サンプルを生成するタスクであり、生成タスクは急速に発展している分野であるため、いくつかの生成モデルをこのタスクに移行できると信じています。

たとえば、現在非常に人気のある敵対的生成ネットワーク (GAN) は、生成タスクに最も効果的なモデルの 1 つです。この敵対的なアイデアを使用して、敵対的サンプルを生成できると思います。つまり、元のデータに具体的にノイズを追加するネットワークと、敵対的サンプルに基づいて分類タスクを完了しようとするネットワークです。2 つのネットワークは、GAN のジェネレーターとディスクリミネーターのように敵対的に学習します。最終的には、ノイズの多いネットワークによって生成された敵対的サンプルに収束し、分類ネットワークを混乱させるのに十分です。このようにして生成された敵対的サンプルは、上記の方法よりも優れている可能性があります。

生成タスクはまだ進化しているため、VAEやGANなどのモデルを使用して攻撃に対抗できる可能性があります。最近登場したCoT[15]（協調トレーニング）も、離散データ生成タスクに対する新しいアプローチを提供します。Glow[16]は、GANよりも効果的であると言われているフローベースの可逆生成モデルを提案しました...これらの生成モデルは常に進化しており、敵対的サンプル生成に利用できるアイデアはますます増えています。そのため、アルゴリズムによる反撃には依然として無限の可能性があると私は信じています。

要約する

敵対的攻撃について調査したところ、まずこの分野の論文は非常に少なく、世間からもあまり注目されていないことがわかりました。しかし、敵対的攻撃はすでに急速な発展の傾向を示しています。

第二に、敵対的攻撃はまだ新しい応用シナリオを見つけ、常に新しいアルゴリズムを試している段階にあり、まだ未熟で、完全なシステムを形成していません。また、攻撃には防御の問題も内在しています。この段階では、防御の問題は基本的に、攻撃を防御するために元のデータに敵対的サンプルを追加してトレーニングするという状態にあります。これを研究している人はほとんどおらず、大きな効果はありません。 これは、この分野にはまだ大きな発展の余地があることを示しています。

機械学習が急速に発展するにつれ、セキュリティの問題が徐々に人々の目に留まるようになってきました。敵対的攻撃はサイバー空間だけでなく、顔認識や音声認識への攻撃など、機械学習が使用される物理世界のあらゆるシナリオでも実行される可能性があります。機械学習をより良く発展させるためには、敵対的攻撃を研究する必要があります。 最新の新しい技術用語は「敵対的攻撃」だと思います。