機械学習は世界をどう見ているか: 機械学習との戦いは人工知能と人間の思考の違いを説明する

人間の観察者にとって、次の 2 つの画像は同一です。しかし、Google の研究者は 2015 年に、一般的な物体検出アルゴリズムが左の画像を「パンダ」、右の画像を「テナガザル」と分類したことを発見しました。奇妙なことに、テナガザルのイメージにはより自信がありました。

[[334982]]

問題のアルゴリズムは、2014 年の ImageNet Large Scale Visual Recognition Challenge (ILSVRC 2014) で優勝した畳み込みニューラル ネットワーク アーキテクチャである GoogLeNet です。

敵対的サンプルは機械学習アルゴリズムに愚かな間違いを犯させる

正しい画像は「敵対的サンプル」です。人間の目には気づかれないほど微妙な操作が行われ、機械学習アルゴリズムのデジタルの目とはまったく異なるものになります。

敵対的サンプルは、AI アルゴリズムの動作を悪用してその動作を妨害します。過去数年間、私たちが使用する多くのアプリケーションで AI の役割が拡大するにつれて、敵対的機械学習は活発な研究分野になりました。機械学習システムの脆弱性が悪意のある目的で悪用される可能性があるという懸念が高まっています。

敵対的機械学習の研究では、面白いもの、無害なもの、恥ずかしいもの（追跡中のカメをライフルと間違えるなど）から、自動運転車が一時停止標識を速度制限と間違えるなど潜在的に有害な例まで、さまざまな結果が生み出されています。

[[334984]]

Labsix の研究者は、改造されたおもちゃのカメが、愚かなディープラーニング アルゴリズムを騙してライフルを分類する方法を示しています (出典: labsix.org)

機械学習は世界をどう見るか

敵対的サンプルがどのように機能するかを理解する前に、まず機械学習アルゴリズムが画像や動画を解析する方法を理解する必要があります。この記事の冒頭で述べたような画像分類 AI を考えてみましょう。

機械学習モデルは、その機能を実行できるようになる前に、「トレーニング」段階を経ます。この段階では、多数の画像とそれに対応するラベル（パンダ、猫、犬など）が入力されます。モデルは画像内のピクセルを調べ、多くの内部パラメータを調整して、各画像を関連するラベルにリンクできるようにします。トレーニング後、モデルはこれまで見たことのない画像を調べ、正しいラベルにリンクできるようになります。基本的に、機械学習モデルは、ピクセル値を入力として受け取り、画像ラベルを出力する数学関数と考えることができます。

機械学習アルゴリズムの一種である人工ニューラル ネットワークは、多数のパラメータを含み、トレーニング データ内のさまざまなパターンに柔軟に適応できるため、画像、音声、テキスト ドキュメントなどの乱雑で非構造化データの処理に特に適しています。人工ニューラル ネットワークを積み重ねると、「ディープ ニューラル ネットワーク」になり、分類や予測のタスクを実行する能力が向上します。

ディープニューラルネットワークは、人工ニューロンを積み重ねた複数の層で構成されています。

ディープラーニングは、ディープニューラルネットワークを使用する機械学習の分野であり、現在人工知能の最前線にあります。ディープラーニング アルゴリズムは、コンピューター ビジョンや自然言語処理など、これまで人間が実行できなかったタスクにおいて、人間に匹敵し、場合によっては人間を上回るパフォーマンスを発揮します。

ただし、ディープラーニングと機械学習のアルゴリズムは本質的には数値計算マシンであることに注意することが重要です。彼らはピクセル値、単語のシーケンス、音波の中に微妙で複雑なパターンを見つけることができますが、人間と同じように世界を見ているわけではありません。

ここで、敵対的事例が登場します。

敵対的サンプルの仕組み

人間に、画像の中でパンダを見つける方法を尋ねると、丸い耳、目の周りの黒い斑点、鼻先、鼻、毛むくじゃらの皮膚などの身体的特徴を探すかもし​​れません。また、パンダが見られると予想される生息地やパンダがとる姿勢など、追加の背景情報も提供するかもしれません。

人工ニューラル ネットワークにとって、ピクセル値を方程式に通して正しい答えが得られる限り、見ているものが確かにパンダであると確信できます。つまり、画像内のピクセル値を適切に調整することで、AI を騙してパンダを見ていないと思わせることができるのです。

この記事の冒頭で紹介した敵対的サンプルでは、​​AI 研究者が画像にノイズの層を追加しました。このノイズは人間の目にはほとんど知覚できません。しかし、新しいピクセル番号がニューラル ネットワークに渡されると、テナガザルの画像に対して望ましい結果が得られました。

左のパンダの画像にノイズの層を追加すると、敵対的サンプルになります。

敵対的機械学習の例を作成するのは試行錯誤のプロセスです。多くの画像分類機械学習モデルは、出力のリストとその信頼度レベル（例：パンダ = 90%、テナガザル = 50%、ツキノワグマ = 15% など）を提供します。敵対的サンプルを作成するには、画像のピクセルを微妙に調整し、それを AI に再実行して、変更が信頼スコアにどのように影響するかを確認する必要があります。十分な調整を行うことで、1 つのクラスの信頼性を低下させ、他のクラスの信頼性を高めるノイズ マップを作成できます。このプロセスは多くの場合自動化できます。

過去数年間、敵対的機械学習の仕組みと効果に関する研究が数多く行われてきました。 2016年、カーネギーメロン大学の研究者らは、特殊な眼鏡をかけることで顔認識ニューラルネットワークを騙して有名人だと認識させることができることを実証した。

別のケースでは、サムスンとワシントン大学、ミシガン大学、カリフォルニア大学バークレー校の研究者らが、一時停止標識に微妙な調整を加えることで、自動運転車のコンピュータービジョンアルゴリズムに標識を見えなくできることを示した。ハッカーは、この敵対的攻撃を利用して、自動運転車を危険な動作にさせ、事故を引き起こす可能性があります。

AI 研究者は、一時停止標識に小さな白黒のステッカーを貼ることで、コンピューター ビジョン アルゴリズムで標識が見えなくなることを発見しました (出典: arxiv.org)

画像を超えた敵対的サンプル

敵対的サンプルは、視覚データを処理するニューラル ネットワークに役立つだけではありません。テキストや音声データに対する敵対的機械学習の研究もあります。 2018年、カリフォルニア大学バークレー校の研究者たちは、敵対的サンプルを通じて自動音声認識（ASR）システムの動作を操作することに成功しました。 Amazon Alexa、Apple Siri、Microsoft Cortana などのスマート アシスタントは、ASR を使用して音声コマンドを解析します。

たとえば、メディアで公開された曲を変更して、再生時に近くのスマートスピーカーに音声コマンドを送信できるようにすることができます。観客はその変化に気づかないだろう。しかし、スマートアシスタントの機械学習アルゴリズムがその隠しコマンドを検出して実行します。

敵対的例は、スパムをフィルタリングしたり、ソーシャル メディアでヘイトスピーチをブロックしたり、製品レビューで感情を検出したりする機械学習アルゴリズムなど、テキスト ドキュメントを処理する自然言語処理システムにも適用されます。

2019年、IBMリサーチ、アマゾン、テキサス大学の科学者らは、スパムフィルターや感情検出器などのテキスト分類機械学習アルゴリズムを騙すことができる敵対的サンプルを作成しました。 「言い換え攻撃」とも呼ばれるテキストベースの敵対的サンプルは、テキスト内の単語の順序を変更して、人間の読者にとって一貫した意味を維持しながら、機械学習アルゴリズムで誤分類エラーを誘発します。

AIアルゴリズムに出力の変更を強制する言い換えコンテンツの例

敵対的サンプルからの保護

機械学習モデルを敵対的サンプルから保護するための主なアプローチの 1 つは、「敵対的トレーニング」です。敵対的トレーニングでは、機械学習アルゴリズムのエンジニアが敵対的サンプルに基づいてモデルを再トレーニングし、データの変動に対して堅牢になるようにします。

しかし、敵対的トレーニングは時間がかかり、費用のかかるプロセスです。すべてのトレーニング例について敵対的弱点を調査し、それらすべてについてモデルを再トレーニングする必要があります。科学者たちは、機械学習モデルにおける敵対的な弱点を発見し修正するプロセスを最適化する方法を開発しています。

同時に、AI 研究者は、ディープラーニング システムにおける敵対的脆弱性に、より高いレベルで対処する方法も模索しています。 1 つのアプローチでは、並列ニューラル ネットワークを組み合わせてランダ​​ムに切り替えることで、敵対的攻撃に対してモデルをより堅牢にします。別のアプローチでは、他のいくつかのネットワークから一般化されたニューラル ネットワークを構築します。汎用アーキテクチャは、敵対的サンプルに騙される可能性が低くなります。敵対的事例は、AI と人間の心の違いをはっきりと思い出させるものです。