人工知能が誤って解釈する画像とはどのようなものでしょうか?

ウィリアム・ギブソンの2010年の小説『ゼロ・ヒストリー』では、ある登場人物が「これまでで最も醜いTシャツ」を着て危険な襲撃に赴くが、そのTシャツのせいで監視カメラに映らなくなる。ニール・スティーブンソンの小説『スノウ・クラッシュ』では、ビットマップ画像を使ってハッカーの脳の周波数を乱すウイルスを送り込み、コンピューターで強化された視覚ニューロンを通じて標的の精神を破壊します。このような物語は、普通の画像がコンピューターを破壊する力を持っているという、SF で繰り返し登場する比喩を形成します。

いずれにせよ、この概念は完全に架空のものではありません。昨年、市販の顔認識システムは、模様のついた眼鏡をかけているだけで人物を誤認した。ファンシーグラスとは、フレームにサイケデリックな色のステッカーが貼られたグラスのことです。ファンシーな歪みや曲線は人間にはランダムに見えますが、コンピューターはファンシーグラスをかけた人の顔の特徴を区別する必要があり、これらの顔の輪郭は非常に似ています。派手なメガネをかけても、クローズドループテレビからギブソンの「最も醜いTシャツ」を消すことはできないが、AIを騙して自分が教皇か他の誰かだと思わせることはできる。

派手なメガネをかけた研究者と、それに応じた顔認識システムの認識結果。

こうしたタイプの攻撃は、敵対的機械学習（この場合はハッカーという敵対者が存在するため、このように呼ばれる）と呼ばれるサイバーセキュリティのより大きなカテゴリに分類されます。この分野では、「最も醜い T シャツ」や脳を蝕むビットマップといった SF の比喩が「敵対的な画像」や「騙す画像」として提示されていますが、敵対的な攻撃は音声やテキストなどの形で行われます。 2010 年代初頭には、多数のチームが独自にこの現象を発見しました。その対象は、写真を食べ物、休暇、ペットとしてラベル付けする Google フォトのアルゴリズムのように、データを分類できる「分類器」と呼ばれる機械学習システムであることが多いです。

人間にとって、だまされた画像はランダムな絞り染めの模様やテレビのノイズのバーストのように見えますが、画像分類器にとっては、「あれはテナガザルだ」とか「あれは真っ赤なバイクだ」と自信を持って言うことができます。レースのメガネが顔認識システムを騙して人物を誤認させるのと同じように、分類器は画像の視覚的特徴を非常に混乱させて処理するため、人間が認識することは決してできません。

これらのパターンは、さまざまな方法で AI システムを回避するために使用することができ、物体を認識するために AI を必要とする将来のセキュリティ システム、産業用ロボット、自動運転車に重要な影響を及ぼします。 「軍隊に所属していて、自動的に標的を定める兵器システムを使用していると想像してください。敵が敵の画像を病院の屋上に表示し、システムが病院を標的にして攻撃するのは望ましくありません」と、2015年に画像を欺くことに関する論文の共著者であるジェフ・クルーンはザ・ヴァージに語った。「あるいは、同じシステムを使用して敵を追跡しているとき、欺く画像に騙されて、ドローンで間違った標的車両を見つめ始めるのは望ましくありません。」

バカっぽい画像とそれに対応する AI 認識結果。

これらのシナリオは仮説的ですが、AI が現在の道を進み続けるのであれば、非常に実現可能です。 「はい、これは研究コミュニティが一丸となって取り組むべき大きな問題です」とクルーネ氏は語った。敵対的攻撃に対する防御の課題は2つある。既存の攻撃に効果的に対抗する方法がわからないだけでなく、より効果的な攻撃の亜種がどんどん増え続けているのだ。クルーネ氏と共著者のジェイソン・ヨシンスキー氏、アン・グエン氏が説明する騙し画像は、色の斑点や重なり合う模様が満載の、目の錯覚や初期のインターネットアートに似ており、人間が簡単に見分けられるが、より巧妙な使い方もある。

Instagramのフィルターのように画像に摂動を加えることができる

研究者が「摂動」と呼ぶ敵対的画像の一種は、人間の目にはほとんど見えず、写真の表面にピクセルの波紋として現れ、インスタグラムのフィルターのような画像に適用できる。これらの摂動は 2013 年に発見され、2014 年の「敵対的事例の説明と活用」(リンク: https://arxiv.org/abs/1412.6572) と題された論文で研究者らはその柔軟性を実証しました。摂動は、攻撃するように訓練されていない分類器であっても、一連の異なる分類器全体を騙す能力を持っています。 「Universal Adversarial Perturbations」（リンク：https://arxiv.org/pdf/1610.08401v1.pdf）と呼ばれる改良により、多数の異なるニューラル ネットワークで摂動をテストすることに成功し、この機能が明らかになりました。これは先月、多くの研究者の注目を集めました。

元の画像は左側、摂動画像は中央、摂動画像は右側にあります。

偽の画像を使用して AI システムをハッキングすることには限界があります。まず、AI システムがランダムなエラーではなく特別な画像を見ていると認識するように、スクランブル画像を作成するには時間がかかります。第二に、そもそも摂動を生成するには、操作するシステムの内部コードにアクセスする必要があることがよくありますが、常にそうであるとは限りません。第三に、攻撃は一貫して効率的ではありませんでした。論文「Universal Adversarial Perturbations」で説明されているように、あるネットワークで 90% の確率で成功する摂動が、別のネットワークでは 50～60% の確率でしか成功しない可能性があります。 (とはいえ、故障した分類装置が自動運転の大型トラックを誘導している場合、エラー率が 50% でも壊滅的な結果になる可能性があります。)

偽の画像に対する防御を強化するために、エンジニアたちは「敵対的トレーニング」を開始しました。これには、バーの警備員が顔写真を見てバーへの入場が禁止されている人を識別するのと同じように、分類器に敵対的な画像を入力することで、それらを認識して無視することを学習できるようにする必要があります。残念ながら、敵対的攻撃について広範囲に執筆しているペンシルベニア州立大学卒業生のニコラス・ペーパーノット氏が説明するように、このトレーニングでさえ「計算集約型の戦略」に対して脆弱です（つまり、システムに十分な画像を与えると、最終的には間違いを犯します）。

乱された画像とそれに対応する AI 認識結果。

事態をさらに困難にしているのは、そのような攻撃がなぜ成功するか、あるいは失敗するかが必ずしも明らかではないことです。 1 つの説明としては、敵対的画像は多くの AI システムに存在する「決定境界」と呼ばれる機能を悪用するというものです。これらの境界は、システムがライオンとヒョウなどを区別する方法を規定する目に見えないルールです。これら 2 種類の動物だけを区別する非常にシンプルな AI プロジェクトによって、最終的には気分マップが作成されます。 XY 平面を想像してください。右上隅には AI システムがこれまでに見たすべてのヒョウが含まれ、左下隅にはライオンが含まれます。 2 つの部分を分ける線、つまりライオンがヒョウになり、ヒョウがライオンになる境界は、決定境界と呼ばれます。

分類における決定境界アプローチの問題点は、それがあまりにも絶対的であり、あまりにも恣意的であるということだ、とクルーネ氏は述べた。 「ニューラル ネットワークで行っているのは、これらの種類のデータの間に線を引くようにトレーニングすることだけであり、それがヒョウを表しているのかライオンを表しているのかを認識するようにモデル化しているわけではありません。」このようなシステムは、決定論的に、さまざまな方法で動作できます。ライオンとヒョウの分析装置を騙すには、ライオンの写真を撮って、その特徴を奇妙な極限まで強調しても、普通のライオンに見えるようにすることができます。つまり、掘削機のようなスクールバスほどの大きさの爪と、燃える太陽ほどの長さのたてがみを付けます。人間にとってはこれは認識できないことですが、決定の境界を調べる AI システムにとっては、これは単なる極端な誇示の例です。

私たちの知る限り、敵対的な画像が現実世界で危害を加えるために使用されたことはありません。しかし、Google Brainの研究科学者であり、「敵対的事例の説明と活用」の共著者でもあるイアン・グッドフェロー氏は、潜在的な脅威を決して無視してはならないと考えている。 「研究コミュニティ、特にグーグルはこの問題を真剣に受け止めている」とグッドフェロー氏は語った。 「そして我々は、より優れた防御策の開発に懸命に取り組んでいます」。イーロン・マスク氏が設立したOpenAIなど、多くの組織が現在、敵対的攻撃に関する研究を実施、または開始している。現時点では、新しい技術は存在しないという結論が出ているが、研究者らは、こうした攻撃が現実世界にどれほどの脅威をもたらす可能性があるかについて合意に達していない。たとえば、計算的に複雑な摂動に頼らずに自動運転車を攻撃する方法は数多くあります。

ペーパーノット氏は、AI システムに広く見られる弱点は驚くべきことではないと主張している。分類器は「常に最悪のパフォーマンスを発揮するようにではなく、平均的に良好なパフォーマンスを発揮するように」訓練されているからだ。これは安全性の観点からはよくある見方だ。つまり、研究者はシステムが壊滅的に失敗するよりも、平均的なパフォーマンスを心配しているのだ。 「扱いにくい決定境界に対処する方法の一つは、データを一つのクラスに当てはめようとするのではなく、画像分類器に何を分類できないかを認識させることだ」とクルーネ氏は言う。

同時に、敵対的な攻撃は、より深く、より概念的な思考を刺激します。同じ欺瞞画像が、Google、Mobileye、Facebook が独自に開発した AI システムの「心」を混乱させることができるということは、現代の AI 全体の特異な欠点を明らかにしています。

「まるで、さまざまなネットワークが一緒に座って、なぜこの愚かな人間たちがこの音が実はヒトデだと認識できないのかを互いに説明しているようだ」とクルーネ氏は語った。 「それはとても興味深く、神秘的でした。これらのネットワークはすべて、これらのクレイジーで不自然な画像が実際には同じ種類のものであることに同意しました。そのレベルの収束は本当に驚くべきものでした。」

クルーンの同僚ジェイソン・ヨシンスキーにとって、画像を騙す研究は、人工知能と自然が作り出した知能の間に驚くべき共通点があることを示している。彼は、AI が犯すのと同じ種類の間違いとその決定の限界が動物界にも存在し、動物が「超常刺激」に騙されることに気づきました。

これらの刺激は、動物が本来の性質に反する行動をとるように促す自然現象の人工版です。この行動は1950年代に初めて発見され、研究者たちはこれを利用して、鳥に自分の卵を無視させて鮮やかな色の偽物の卵を選ばせたり、アカハライトヨにゴミを競争相手とみなさせたりした。ゴミに大きな赤い腹が描かれている限り、魚はそれに抵抗するでしょう。ファーストフードやポルノなどの人間の中毒行動も超常刺激の例であると主張する人もいます。これを踏まえると、AI が犯す間違いは当然であると主張することもできるでしょう。しかし残念なことに、これらの間違いを回避し、より良いパフォーマンスを発揮するには AI が必要です。

元記事: http://www.theverge.com/2017/4/12/15271874/ai-adversarial-images-fooling-attacks-artificial-intelligence

[この記事は、51CTOコラムニストのMachine Heart、WeChatパブリックアカウント「Machine Heart（id:almosthuman2014）」によるオリジナル翻訳です]

この著者の他の記事を読むにはここをクリックしてください