ステッカーでAIから見えなくなったら、AIにとんでもないバグが発生した

研究により、印刷されたステッカーだけで AI システムを「騙す」ことができ、検出システムが目の前にいる生きている人物を認識できなくなることが判明しました。この研究は実際のビデオ監視システムにも利用される可能性があり、白熱した議論を巻き起こすだろう。

ステッカーを貼ると、AI の前で「見えなくなる」ようになります。

ベルギーのルーヴェン・カトリック大学の研究者数名による最近の研究では、単純な印刷パターンの助けを借りて、AIビデオ監視システムを回避することが可能であることが判明しました。

研究者らは、コンピュータービジョンシステムから人物全体を隠すことができる画像を設計したと述べている。この研究は、オープンソースのオブジェクト認識システム YOLO (v2) で実証されました。

上の画像を見るとわかるように、AI システムは左側の人物を正常に検出しましたが、右側の人物は無視されました。右側の人物には色付きのボール紙がぶら下がっているが、論文ではこれを「敵対的パッチ」と呼んでいる。このパッチがAIシステムを「騙して」、写真に別の人物がいることに気付かないようにするのだ。

この詐欺は敵対的機械学習と呼ばれる手法を利用しています。ほとんどのコンピューター ビジョン システムは、多数の例を入力し、オブジェクトを正しく分類できるようになるまでパラメーターを調整することで、さまざまなものを認識できるように (畳み込み) ニューラル ネットワークをトレーニングすることに依存しています。トレーニング済みのディープニューラルネットワークにサンプルを投入し、出力を監視することで、どのタイプの画像がシステムを混乱させるかを推測できます。

彼らは、「自動監視カメラを欺く：人物検出を攻撃するための敵対的パッチ」と題する論文を発表し、画像パッチを生成するためのソースコードを公開しました。

アドレス: https://gitlab.com/EAVISE/adversarial-yolo

生成されたパッチにより、検出器の視界から人物をうまく隠すことができます。例えば、監視システムに検知されないように、監視カメラに向かって小さな段ボールを体の前に置くことで、監視システムを悪用して回避することができます。

研究の結果、このシステムは人間検出器の精度を大幅に低下させる可能性があることがわかりました。この方法は、実際のシナリオでもうまく機能します。

以下のデモに示すように、YOLOv2 を使用してビデオを検出すると、画像内の人、椅子、テーブルなどが正確に検出されますが、この「パッチ」が取られている限り、システムは人を検出できません。

「魔法のパッチ」を生成して数秒で見えなくなる

彼らはどのようにしてこの魔法のような「敵対パッチ」を生成したのでしょうか?

最適化の目標には次の 3 つの部分が含まれます。

Lnps: 非印刷性スコア。この要素は、ステッカーの色が一般的なプリンターでどの程度印刷できるかを示します。次の式があります。

ここで、ppatch はステッカー内のピクセルであり、cprint は印刷可能な色セット C 内の色です。この損失には、画像内の色が印刷可能なカラー セット内の色と密接に関連していることを保証するという利点があります。

Ltv: 全体的なイメージの変更。この損失関数により、オプティマイザーはスムーズな色の変化を持つ画像を優先し、画像ノイズを防ぐことができます。 LtvはPから計算できます:

隣接するピクセルが類似している場合はスコアが低くなり、隣接するピクセルが異なる場合はスコアが高くなります。

Lobj: 画像内のオブジェクトのスコア。パッチの目的は、画像内の人物を隠すことです。したがって、トレーニングの目標は、検出器によって出力されるターゲットまたはカテゴリのスコアを最小限に抑えることです。これら 3 つの部分を合計すると、合計損失関数は次のようになります。

3 つの部分は経験的に決定された係数 α と β によってスケーリングされ、その後、Adam アルゴリズムを使用して合計され、最適化されます。オプティマイザの目標は、総損失 L を最小化することです。最適化中はネットワーク内のすべての重みを固定し、パッチ内の値のみを変更します。プロセスの開始時に、パッチはランダムな値で初期化されます。

YOLOv2 オブジェクト検出器はセルのグリッドを出力します。各セルにはアンカー ポイントのシーケンス (デフォルトは 5 つ) が含まれます。各アンカーには、境界ボックスの位置、オブジェクトの確率、カテゴリ スコアが含まれます。検出器が画像内の人物を無視するようにするために、研究者は、人間分類の確率を最小化する (図 4d)、物体スコアを最小化する (図 4c)、またはこの 2 つを組み合わせる (図 4b と 4a) という 3 つの異なるアプローチを試しました。

研究者たちはそれぞれのアプローチを別々に試した。クラス スコアを最小限に抑えると、クラス内の人が別のクラスに移動する傾向があります。 MS COCO データセットでトレーニングされた YOLO 検出器を使用した実験で、研究者は、生成されたステッカーが COCO データセット内の別のクラスとして検出されたことを発見しました。図 4a と 4b は、それぞれクラス確率とオブジェクト確率の使用例を示しています。

研究者がオブジェクト性スコアを最小化するために提案した別の方法では、この問題は発生しません。最適化プロセス中に「人物」カテゴリにのみ配置されますが、生成されたステッカーは、図 4c に示すように、他の方法よりも特定のクラスに特化していません。

研究チームは、ランダムに生成された画像ノイズやぼやけた画像など、さまざまな種類のパッチを実験し、複数回処理されたランダムなオブジェクトの写真が良好なパフォーマンスを発揮することを発見しました。

たとえば、彼らが提案した画像パッチ (図 4c) は、画像をランダムに選択し、それを回転させ、ランダムに拡大および縮小し、ランダムにノイズを追加し、精度とコントラストをランダムに変更することによって作成されました。

実験結果：警報が大幅に減少、防犯カメラはまだ安全か？

パッチの有効性は実験結果を通じて評価されます。プロセスはトレーニング プロセス (ランダム変換を含む) と同じであり、結果は評価のために Inria テスト セットに適用されます。

言い換えれば、研究者たちは、監視システムによって生成された警報のうち、ステッカーを使用することでどれだけ回避できるかを尋ねたのです。

上の表は、さまざまなステッカーを使用したアラームトリガー分析の結果を示しています。ステッカー（OBJ-CLS、OBJ、CLS）によりアラートの数が大幅に減少していることがはっきりとわかります。

上の図は、Inria テスト セットでさまざまなステッカーを使用した場合の効果の比較例を示しています。まず、YOLOv2 検出器をパッチなしの画像 (行 1) に適用し、次にランダムなステッカー (行 2) を適用し、生成されたステッカーの効果 (行 3) を適用します。ほとんどの場合、ステッカーは検出器から人々を隠すことに成功しました。うまくいかない場合は、ステッカーが人物と揃っていない可能性があります。最適化中、ステッカーの中央配置は画像の境界線によってのみ決定されるためです。

上の画像は、印刷されたステッカーが現実世界でどのように見えるかをテストしています。全体的に見て効果は良好です。ステッカーを正しい位置に保つことは、上で説明したイメージトレーニングの位置合わせの理由から非常に重要であると思われます。

出来上がった「パッチ」は衣服やバッグ、その他の物体に貼り付けることができ、それを着用している人は見えなくなり、AI 検出アルゴリズムでは検出できなくなります。

このメソッドは、特定のオブジェクトを非表示にするためにも使用できます。たとえば、監視システムが人ではなく物体を検出するように設計されている場合、パッチは車などの物体を隠すこともできます。

このトリックを使えば、犯罪者は防犯カメラを回避できる可能性がある。 「我々の研究は、敵対的なパッチを使ってカメラ監視システムを回避できることを証明した」と共著者のウィーベ・ヴァン・ランスト氏は述べた。

ヴァン・ランスト氏は、このアプローチを市販のビデオ監視システムに適用するのはそれほど難しくないはずだと語る。 「現時点では、どの検出器が使用されているかを知る必要もあります。将来的には、複数の検出器で同時に機能するパッチを生成したいと考えています」と彼は語った。 「これが機能すれば、このパッチは監視システムで使用される検出器に対しても機能する可能性が高い。」

もちろん、この「パッチ」は現時点では絶対確実というわけではありません。写真にはっきりと写っていなかったり、角度が変わったりすると、AI システムは写真に写っている人間をすぐに「発見」することができます。

しかし、この研究は、2D プリント技術を使用して人間を検出システムから隠そうとする学者の試みです。これまでの研究では、主に特殊なフレームの眼鏡を使って顔認識ソフトウェアを欺いたり、敵対的サンプルを使って画像分類システムを欺いたりしていた。例えば、ステッカーを貼ることでAIにバナナをトースターと間違えさせたり、数枚のステッカーを貼ることで自動運転システムを逆車線に誘導したりできる。

論文アドレス: https://arxiv.org/pdf/1904.08653.pdf

オープンソースアドレス: https://gitlab.com/EAVISE/adversarial-yolo