これまでで最も詳細なAIサイバー攻撃の分類ガイド

最近、NIST は、人工知能システムに対するサイバー攻撃に関する、おそらくこれまでで最も詳細な分類ガイドである「敵対的機械学習: 攻撃と緩和の分類と用語 (NIST.AI.100-2)」を発表し、次のように指摘しました。

• AI システムが信頼できないデータにさらされると誤動作を起こす可能性があり、攻撃者はこの問題を悪用しています。
• 新しいガイドでは、これらの攻撃の種類とその軽減方法について説明しています。
• AI が人々を誤解させることから守る確実な方法は存在せず、AI 開発者とユーザーは、そうではないと主張する人には警戒する必要があります。

AIサイバー攻撃は4つのカテゴリーに分類される

NIST のガイドラインでは、AI サイバー攻撃を、回避攻撃、ポイズニング攻撃、プライバシー攻撃、悪用攻撃の 4 つの主要なカテゴリに分類しています。このガイドでは、攻撃者の目的、能力、知識などのさまざまな基準に基づいて、各攻撃タイプをサブカテゴリに分類しています。

• 攻撃を回避します。これは、AI システムが展開された後に発生し、敵対的入力を使用してシステムの応答方法を変更します。たとえば、一時停止標識にマークを追加すると、自動運転車がそれを速度制限標識と誤認する可能性があります。また、わかりにくい車線マークを作成すると、車両が道路から外れて衝突が発生する可能性があります（編集者注：人間以外の、または意図しない視覚情報も同様の効果をもたらす可能性があります）。
• 毒攻撃。トレーニング フェーズ中に破損したデータを導入します。一例としては、会話の記録に不適切な言語を多数含め、チャットボットがそれを一般的な言語であると誤解し、ユーザーとのやり取りで使用することが挙げられます。
• プライバシー攻撃。プライバシー攻撃は、システムまたはそのトレーニング データに関する機密情報を収集するために、既存のガードレールをバイパスする質問をすることで、展開中に発生します。攻撃者はチャットボットに多​​くのもっともらしい質問をし、その回答を使用してモデルをリバースエンジニアリングし、その弱点を見つけたり、その起源を推測したりすることができます。これらのオンライン リソースに不要な例を追加すると、AI が不適切に動作する可能性があり、事後に AI に「有害な」例を忘れさせることは困難になる可能性があります。
• 虐待攻撃。 Web ページやオンライン ドキュメントなどのソースに誤った情報を挿入し、AI にこの情報を吸収させます。前述のポイズニング攻撃とは異なり、悪用攻撃は、正当なソースを改ざんまたは汚染することで AI に誤った情報を提供し、AI システムを本来の目的のために再利用します。

「こうした攻撃のほとんどは実行するのがかなり簡単で、AIシステムに関する知識や高度な敵対能力をあまり必要としません」と、ノースイースタン大学の教授で共著者のアリナ・オプレア氏は述べた。「例えば、ポイズニング攻撃は、トレーニングセット全体のほんの一部にすぎない数十のトレーニングサンプルを制御することで実行できます。」