[[275013]]

額にお守りを貼るとAIがあなたを認識できなくなるって知っていましたか？

たとえば、顔認識システム ArcFace によって発見された少女がこちらです。

それで彼女は額にお守りを置きました。

顔認識では彼女が認識されず、フレーム上の「Person_1」ラベルは消えています。

たとえ光が暗くなっても、このお守りは彼女が AI に発見されることから守ることができます。

そうすれば、いつか人間とAIが戦うことになったとしても、私たちは逃げることができるかもしれない。（間違い）

結局のところ、昨年リリースされた ArcFace は、既存の公開 FaceID システムの中で最も強力 (最先端) です。

[[275014]]

それを騙したのはモスクワ国立大学とファーウェイ・モスクワ研究所の科学者たちだった。

彼らのお守りには、AI を混乱させる特殊な模様があります。これをカウンターアタックと呼びます。攻撃コストは非常に低く、お守りは通常のカラープリンターで印刷されます。

研究チームによれば、これは「簡単に再現できる」方法で、ArcFace AIに効果的であるだけでなく、他のAIにも移行でき、無限の欺瞞の可能性を秘めているという。

ネットユーザー：「会社を設立して大量生産を始めよう」

さらに、お守りを描くアルゴリズムがオープンソース化されており、誰でも顔認識AIを欺くお守りを生成できる。

おそらくある日、監視システムは見知らぬ人の出現に抵抗できなくなるだろう。結局、人間のほうが危険だ。

さて、まずはお守りを描く原理から見ていきましょう。

シンボルを描く原理

画像にノイズを加えると、パンダがテナガザルに変わることがあると聞いたことがあるかもしれません。

デジタルの世界では敵対的攻撃は簡単に実行できますが、現実の世界ではその効率は大幅に低下します。

研究チームは、ある方法を思いつきました。まず、平面の長方形の画像を3次元の放物線に曲げてから回転させるという、新しいオフプレーン変換法を考案しました。

2 番目のステップでは、高品質の顔画像を変形した「ステッカー」に投影し、ランダムなノイズを追加します。

こうして得られた画像は、ArcFace の標準入力に変換されます。

最後に、2 つのパラメータの合計を減らします。最初の長方形画像の TV 損失と、最終画像の埋め込みと ArcFace によって計算されたアンカー埋め込み間のコサイン類似度です。

このようにして生成された敵対的攻撃画像は、もはや平らな一枚の紙ではなく、人間の額に直接フィットする 3 次元の画像になります。

研究チームは当初、完全にランダムにノイズを追加しました。

敵対的サンプル生成段階では、モメンタムを用いた多重反復 FGSM 法 (Goodfellow が提案した古典的な敵対的サンプル生成法) を採用しました。攻撃は 2 段階に分かれており、第 1 段階の反復ステップ サイズは 5/255、運動量は 0.9 です。第 2 段階の反復ステップ サイズは 1/255、運動量は 0.995 です。

最初のステージを 100 回繰り返した後、最後の 100 個の検証値が最小二乗法を使用して線形関数によって補間されました。線形関数の傾きが 0 未満でない場合、攻撃の第 2 段階に入ります。

第 2 段階で 200 回の反復後、同じ操作が実行され、線形関数の傾きが 0 未満でない場合は攻撃が停止されます。

興味深い現象が起こりました。

より成功した敵対的な画像はすべて、人間の眉毛に少し似ています。

実際、人間の顔のどの部分が「ステッカー」に投影するのに最も適しているかを調べるために、研究チームはデジタルシミュレーション実験を行った。ステッカーの位置を低くすると、より良い検証値が得られたことがわかりました。ステッカーの位置を制限して、目の上に強制的に配置したとしても、ステッカーは常に目の近くまで下に移動します。

これまでの研究でも、眉毛が人間の顔認識において最も重要な特徴であることが示されています。

ただし、最終的な「ステッカー」は汎用的なものではなく、各人の写真を基に「個人的にカスタマイズ」されたものです。

チームはカスタマイズ効果をテストするために 10 人の人間を雇いました。女性4名、男性6名、結果は以下のとおりです。

青色は、人が普通の帽子をかぶる前とかぶった後で AI が判断したカテゴリ類似度を示しており、約 70% です。

オレンジ色は、人に対立シンボルを貼る前と貼った後でAIが判断したカテゴリ類似度が20%を下回ったことを示しています。

カスタマイズが成功し、識別が完了しました。

この攻撃方法は、ArcFace だけでなく、他の Face ID モデルに対しても有効です。

△LResNet100Eと他のモデルのベースライン類似度と攻撃後の類似度の差

AIを騙すのはかつてないほど簡単になった

実際、AI はこれまで攻撃に対してほとんど抵抗力を持っていませんでした。

亀がライフルに変わるという古い話についてはここでは触れません。それ以来、さまざまな高度な遊び方があるからです。

ベルギーのルーヴェン大学の10代の若者2人が、対立を描いた色鮮やかな絵をお腹の前に掲げたことがある。

[[275016]]

このように、物体検出の第一人者であるYOLOv2は、人間であることを認識できないだけでなく、そこに物体が存在することすら検出できないのです。

優秀な透明マント、震えています。

さらに、テンセントのチームはかつて、対立的な画像を使ってテスラを騙したことがある。

通常、駐車場では雨は降りません。しかし、画面に奇妙なパターンが現れました。

テスラのワイパーが作動しました。

さらに、手を振るリズムは非常にタイトで、AIが見たものは単なる霧雨ではなかったようです。

ワイパーをオンにしても危険ではないと思われる場合:

テスラの画像処理ツールには、他の車の追跡、物体や車線の追跡、周囲の環境のマッピング、降雨量の推定など、多くの役割があります...

さらに、テンセントチームは、上記のタスクのほとんどが単一のニューラル ネットワークによって完了していることも発見しました。

これは、一度に 1 枚ずつ掛けるという意味ではないでしょうか?

今日の主役であるモスクワの対立シンボルは、エネルギーの高い特徴を持っています。パターンは顔の前に配置されるのではなく、顔に完全に取り付けられています。

[[275017]]

つまり、3D の歪んだ/引き伸ばされたパターンも AI を欺くために使用できるということです。

実際、腹を塞いだカラフルな対決写真が登場した後、一部のネットユーザーはTシャツにプリントした方が良いと言ったが、当時はその図柄が人体の伸縮に耐えられるかどうかはわからなかった。現在の技術ではそれが可能です。

もう一つの利点は、複数のAIを騙すことができることです。損失関数を調整すれば他のAIにも移行でき、攻撃範囲が非常に広いです。

しかし、世界はますます危険になっており、顔認識はますます脆弱になってきており、攻撃に抵抗するだけでは済まなくなっています。

[[275018]]

フォーブスの記者は、3Dプリントされた石膏の顔を使って、いくつかの人気主力携帯電話のAI顔認識ロック解除機能を破った。

テンセントはかつて、眼鏡を使ってアップルの顔認識システムに侵入したことがある。

詐欺は日々進化しており、顔認識 AI はさらに強力になる必要があります。

そのため、研究者たちは、この新しい顔認識攻撃防止方法が顔認識システムに使用され、さまざまな FaceID システムがより堅牢で信頼性の高いものへと進化することを期待しています。

ファーウェイモスクワR&Dセンターより

この研究の著者であるステパン・コムコフ氏とアレクサンドル・ペティウシコ氏は、ファーウェイのモスクワ研究開発センターに所属している。

現在、ファーウェイはロシアにモスクワとサンクトペテルブルクの2つの主要な研究開発センターを持ち、さらに3つ目の研究開発センターの開設を準備している。従業員総数は1,000人を超え、ロシアのテクノロジー業界では大規模な研究開発機関となる。

戦闘国家は昔から数学が得意なので、ロシアの研究センターは主にアルゴリズムの研究に重点を置いています。以前、ファーウェイのロシア研究所の数学者が、異なるネットワーク標準間のアルゴリズムを結び付け、通信事業者が30％以上のコストを節約するのに貢献しました。

紙の転送ポータル:

https://arxiv.org/abs/1908.08705

コードポータル:

https://github.com/papermsucode/advhat