サンディエゴ大学の博士が、ディープフェイク検出器は破られないものではないことを初めて証明した。

研究者らは、敵対的サンプルと呼ばれる入力を各ビデオフレームに挿入することで、検出器を破ることができることを示した。敵対的サンプルとは、機械学習モデルなどの AI システムに間違いを起こさせる、わずかに操作された入力です。さらに、チームは、ビデオが圧縮された後でも攻撃がまだ機能することを発見しました。

カリフォルニア大学サンディエゴ校のコンピュータ工学博士課程の学生、シェジーン・フセインは次のように語った。

私たちの研究は、ディープフェイク検出器への攻撃が現実世界の脅威となる可能性があることを示しており、さらに驚くべきことに、検出器が使用する機械学習モデルの内部の仕組みを知らなくても、非常に堅牢な敵対的サンプルを作成できることを実証しています。

ディープフェイクでは、被写体の顔が加工され、実際には起こらなかった出来事を真似した映像が作られる。

したがって、典型的なディープフェイク検出器は、ビデオ内の人物の顔に焦点を当てています。まず顔を追跡し、次に切り取られた顔データをニューラル ネットワークに渡して、顔が本物か偽物かを判断します。

たとえば、ディープフェイクではまばたきがうまく再現されないため、検出器は偽物かどうかを判断する方法として目の動きに注目します。最先端の「ディープフェイク検出器」は、機械学習モデルを利用して偽の動画を識別します。

研究者らは、ソーシャルメディアプラットフォーム上での虚偽の動画の広範な拡散が世界中で大きな懸念を引き起こし、特にメディアの信頼性に影響を与えていると指摘した。

「攻撃者が検出システムについてある程度の知識を持っていれば、検出器の死角を狙った入力信号を作成し、それを迂回することができる」と、論文のもう一人の共著者でカリフォルニア大学サンディエゴ校のコンピューターサイエンス専攻の学生、パース・ニーカラ氏は述べた。

研究者たちは、ビデオフレーム内のそれぞれの顔に対して敵対的サンプルを作成した。しかし、ビデオの圧縮やサイズ変更などの標準的な操作では通常、画像から敵対的サンプルが削除されますが、これらのサンプルはそれらのプロセスに耐えられるように構築されています。

攻撃アルゴリズムは、モデルが画像を本物か偽物かにランク付けするために使用する一連の入力変換を推定することによってこれを実行します。そこから、この推定値を使用して、圧縮および解凍後も敵対的画像が有効なままになるように画像を変換します。

ディープフェイク検出ツール XceptionNet は、研究者が作成した敵対的な動画を本物として分類します。

修正された顔のバージョンがすべてのビデオ フレームに挿入され、ビデオ内のすべてのフレームに対してこのプロセスが繰り返されて、ディープフェイク ビデオが作成されます。この攻撃は、顔だけでなくビデオフレーム全体を操作する検出器にも適用できます。

高い成功率

研究者らは、2 つのシナリオで攻撃をテストしました。1 つは、攻撃者が顔抽出パイプラインと分類モデルの構造とパラメータを含む検出器モデルに完全にアクセスできるシナリオ、もう 1 つは、攻撃者が機械学習モデルにクエリを実行して、フレームが本物か偽物かに分類される確率を計算するシナリオです。

最初のケースでは、非圧縮ビデオへの攻撃は 99 パーセント以上の確率で成功しました。圧縮されたビデオの場合、この比率は 84.96% になります。 2 番目のケースでは、攻撃は非圧縮ビデオでは 86.43 パーセント成功し、圧縮ビデオでは 78.33 パーセント成功しました。

これは最先端のディープフェイク検出器に対する攻撃が成功したことを実証した最初の研究です。

「これらのディープフェイク検出器を実際に使用するには、これらの防御策を知っていて意図的にそれを破ろうとする適応型の敵に対して評価する必要があると考えています」と研究者らは述べています。「敵が検出器を完全に、あるいは部分的にでも知っていれば、現在の最先端のディープフェイク検出方法は簡単に回避できます。」

検出器を改善するために、研究者らは敵対的トレーニングに似たアプローチも推奨しています。トレーニング中、適応型の敵対者は、現在の最先端の検出器を回避できる新しいディープフェイクの結果を生成し続け、検出器は新しいディープフェイクの結果を検出するために改善し続けます。