データ汚染を防ぐのは困難です。機械学習モデルに「悪いことを学習」させないでください

過去 10 年間、クラウド コンピューティングの普及により、多くの企業に高性能コンピューティングおよびデータ ストレージ サービスが提供されてきました。この恩恵を受けて、機械学習の応用も爆発的な成長をもたらしました。上流のサプライヤーが自社製品に機械学習を統合するにつれて、これらの機械学習操作の結果は、ユーザーが意思決定を行うための重要な基盤となっています。これに対し、セキュリティ専門家は機械学習技術の脆弱性を狙ったサイバー攻撃が大量に発生するだろうと警告している。

[[405612]]

ほとんどのオンライン ソーシャル プラットフォーム、オンライン ビデオ サイト、大規模ショッピング サイト、検索エンジン、その他のサービスには、機械学習テクノロジーに基づいた推奨システムが備わっています。例えば、Netflix ユーザーが好んで視聴する映画や番組、Facebook ユーザーが「いいね！」または共有するコンテンツ、Twitter ユーザーが「いいね！」またはタグ付けするコンテンツ、Amazon ショッピング サイトで消費者が購入または閲覧する製品、ネットユーザーが Google で検索する情報など、これらすべてのデータがこれらの企業の機械学習システムにフィードバックされ、ユーザーの嗜好に合った情報をより正確にプッシュできるようになります。

サイバー攻撃者がこれらの推奨システムに影響を与え、その結果を歪めようとしていることは周知の事実です。彼らは偽のアカウントを使用して、特定の製品に賛成または反対の投票をし、それらを共有および宣伝します。ユーザーは、地下市場や「トロールファーム」（インターネット上で虚偽の情報を広めたり、煽動的なコメントを投稿したりすることを専門とするオンライン組織）で、推奨システムを操作するサービスを購入することさえできます。

「理論上、攻撃者がユーザーがどのようにシステムとやり取りするかを知っていれば、そのユーザーを特に狙ったサイバー攻撃を設計し、YouTube 動画を推奨したり、マルウェアをプッシュしたり、偽のソーシャル アカウントをフォローするように仕向けたりすることができます」と、サイバー セキュリティ ベンダーである F-Secure AI Center of Excellence の研究員であるアンドリュー パテル氏は語ります。「したがって、アルゴリズムの操作は、偽の情報の提供、フィッシング詐欺、世論の変更、有害コンテンツの宣伝、ブランドや個人の評判の毀損など、さまざまな目的に使用できます。Google 検索の入力オートコンプリート機能を操作するために料金を支払うことさえ可能です。」

データポイズニングとは何ですか?

データ汚染やモデル汚染を引き起こすサイバー攻撃により、機械学習モデルのトレーニング データが汚染される可能性があります。データ ポイズニングは、トレーニング データを改ざんするとモデルが正確な予測を行えなくなるため、一般的に整合性攻撃と見なされます。その他のサイバー攻撃は、その影響に基づいて 3 つのタイプに分類できます。

• 機密性攻撃: 攻撃者はモデルにデータを入力することで、トレーニング データ内の潜在的な機密情報を推測します。
• 妥当性攻撃: 攻撃者は入力データを偽装してシステムを欺き、正しい分類を回避します。
• 複製攻撃: 攻撃者はモデルを逆転させて複製するか、ローカルで分析し、攻撃を計画したり、独自の経済的目標を達成したりします。

モデルの予測と分類を回避するサイバー攻撃とポイズニング攻撃を区別する点は、その持続性です。ポイズニング攻撃者の目的は、入力したデータをシステムにトレーニング データとして認識させることです。モデル データのトレーニング サイクルの長さに応じて、2 つの攻撃の時間制限も異なります。たとえば、ポイズニング攻撃によっては、完了までに数週間かかる場合があります。

データ ポイズニングは、「ブラック ボックス」方式または「ホワイト ボックス」方式のいずれかで実行できます。 「ブラック ボックス」とは、ユーザーのフィードバックに基づいて学習モデルを更新する分類システムに対して行われる攻撃を指します。「ホワイト ボックス」とは、学習モデルとそのトレーニング データにアクセスして攻撃者が行う攻撃を指します (システムに複数のデータ ソースがある場合、脆弱性はサプライ チェーンで発生することがよくあります)。

データポイズニング攻撃の例

パテル氏は、サイバーセキュリティの観点から、ネットワーク上の異常や不審な活動を検出するために機械学習を使用するシステムが攻撃の標的になる可能性があると述べた。攻撃者は、システムで特定の機械学習モデルが使用されていることを知ると、徐々に認識精度が低下するようなデータをモデルに入力しようとし、最終的には攻撃がシステムに異常として認識されなくなります。これはモデルの歪度とも呼ばれます。

[[405613]]

実際の例としては、電子メール サービスで使用されるスパム フィルターへの攻撃が挙げられます。 Googleの不正使用対策研究チームの責任者であるエリー・バーシュタイン氏は、機械学習への攻撃について2018年のブログ投稿で次のように述べている。「実際には、トップクラスのスパマー集団がGmailのメールフィルターを破ろうとするケースが多く、彼らの影響下では大量のスパムが識別されないことが分かっています。2017年11月から2018年初頭にかけて、Googleは分類器を歪めようとする大規模な悪意ある攻撃を少なくとも4回受けました。」

もう 1 つの例としては、多くのウイルス対策ソフトウェアがウイルス データベースを拡張するために使用する、Google の VirusTotal ウイルス スキャン サービスがあります。攻撃者がマルウェアを実際に拡散する前にテストするために VirusTotal を使用し、検出を逃れていることは周知の事実ですが、現在では攻撃者は VirusTotal をより永続的なデータ汚染攻撃を実行するためにも使用しています。実際、2015 年には、VirusTotal を介したアクティブなサンプル ポイズニング攻撃により、ウイルス対策ソフトウェアが通常のファイルを誤って悪意のあるプログラムとして識別したという報告がありました。

まだ良い解決策はない

データ汚染の最大の問題は、修復が非常に難しいことです。使用状況やユーザーの好みに応じて、機械学習モデルは新しく収集されたデータを使用して定期的に再トレーニングされます。データ汚染は長期間にわたって蓄積され、多くの場合複数のトレーニング サイクルにまたがるため、モデル予測の精度がいつ逸脱し始めるかを判断することは非常に困難です。

パテル氏は、データ汚染の影響から回復するためには、影響を受けた部分の過去の入力記録を分析し、すべての不良データサンプルを特定して削除するのに多大な時間がかかるだろうと述べた。この後、攻撃前のバージョンの機械学習モデルを再トレーニングする必要があります。しかし、現実には、膨大なデータ処理と多数のサイバー攻撃に直面すると、この方法で再トレーニングすることはまったく不可能であり、モデルは修復不可能になります。

マイクロソフトの Trustworthy Machine Learning 部門のチーフ アーキテクトである Hyrum Anderson 氏は、次のように語っています。「学術界には非常に魅力的な新しい概念があります。実用化はされていませんが、遅かれ早かれ実現するでしょう。いわゆるマシン リバース ラーニングです。GPT-3 (OpenAI が開発した言語予測モデル) モデルを 1 回トレーニングするには約 1,600 万ドルかかります。データが汚染された後に特定された場合、汚染されたデータを見つけて再トレーニングするには非常にコストがかかります。しかし、リバース ラーニング、つまり、特定のデータの影響を元に戻して重みを削除するようにシステムに要求することができれば、防御メカニズムを確立するコストがはるかに安くなります。ただし、マシン リバース ラーニングが実用化されるには少なくとも数年かかると思います。そのため、現在の解決策は、有効なデータを使用してモデルを再トレーニングすることですが、この方法は非常に困難でコストがかかります。」

検出と予防に重点を置く

汚染されたモデルを修正するのは非常に難しいため、モデル開発者は、次のトレーニング サイクルの前に、汚染攻撃を防止したり、悪意のあるデータ入力を検出したりできるツールの開発に多大な労力を費やす必要があります。これらのツールには、入力の有効性チェック、レート制限、回帰テスト、手動レビュー、さまざまな統計原理を使用してデータの異常を検出する手法などが含まれます。

たとえば、大量のデータが同じ少数のアカウント、IP アドレス、またはユーザーから取得される場合、このデータは機械学習モデルのトレーニング データの大部分を占めるべきではなく、特定の 1 人のユーザーによって提供されるデータの量とトレーニング データに与えられる重みは制限される必要があります。 「ダーク ローンチ」（新機能を事前に少数のユーザー グループにリリースすること）を通じて、新しく完了したデータでトレーニングされた分類器を以前のものと比較して、出力がどのように異なるかを分析できます。 Google の Bursztein 氏はまた、「ゴールデン データベース」を構築することを提案しており、これに基づいて再トレーニングされたモデルが正確な予測を行い、検出システムの進化に役立つとしています。

アンダーソン氏は、データ汚染は、データドリフトと呼ばれるシステム内のより広範な問題の具体的な例にすぎないと述べた。誰もがさまざまな理由で不良データを受け取っており、大手クラウド コンピューティング ベンダーを含め、データ ドリフトの対策や、運用データとモデル パフォーマンスの大幅な変化を検出するツールの開発に取り組んでいる人はたくさんいます。このような機能を備えたサービスには、Azure Monitor (Microsoft Azure のフルスタック監視サービス) や Amazon SageMaker (Amazon のマネージド機械学習サービス) などがあります。

「トレーニング後にモデルのパフォーマンスが大幅に低下した場合、それがポイズニング攻撃によるものか、単にデータの不良バッチによるものかに関わらず、システムはそれを検出できます」とアンダーソン氏は言います。「これを修正するには、問題の原因となったポイズニング攻撃や、モデルのトレーニング中に誤ってシステムに侵入した不良データを完全に除去する必要があります。したがって、このようなツールはポイズニング攻撃に対処するための良い出発点であり、この AI リスク管理フレームワークは業界で徐々に形になりつつあります。」

攻撃者は、ポイズニング攻撃を実行するためにモデルの動作に関する情報も必要とするため、漏洩する情報をできるだけ少なくし、トレーニング データとモデル自体の両方に対して強力なアクセス管理を提供することが重要です。この観点から、機械学習防御は、権限制御、ログ記録の有効化、ファイルおよびデータのバージョン管理の有効化など、システムおよびデータのセキュリティと標準操作に密接に関連しています。

アンダーソン氏は、人工知能と機械学習モデルのセキュリティは、モデル、システム、サーバーに対する最も基本的なデータの読み取りおよび書き込み権限とアクセス権に大きく関係していると述べた。この場合、一部の通常のディレクトリにある小さなデータ サービスや高い権限を持つファイルは、ポイズニング攻撃を受けやすくなります。

予防対策にはまだ長い道のりがある

組織がネットワークやシステムの脆弱性を特定するために定期的に侵入チェックを実行するのと同様に、このようなチェックを機械学習に拡張し、より大規模なシステムやプログラムのセキュリティの一部として扱う必要があります。

「モデルを構築する際、開発者はモデル自体への攻撃をシミュレートして、モデルに対してどのように攻撃が仕掛けられるかを理解し、これらの攻撃に対抗する防御策を構築する必要があります」とパテル氏は言う。「検出はシミュレートされた攻撃のデータに依存するため、モデルが攻撃されたときのデータ ポイントがどのようになるかを観察し、有害な攻撃のように見えるデータ ポイントを破棄するメカニズムを構築できます。」

アンダーソン氏は、機械学習モデルの防御に関するマイクロソフトの取り組みに積極的に関与しています。彼は、USENIX Enigma カンファレンスでの最近の講演で、Microsoft で彼のチームが行った模擬攻撃の試みについて発表しました。彼らは、リソース プロビジョニング サービスで使用される機械学習モデルをリバース エンジニアリングし、仮想リソースがハードウェアに効率的に割り当てられ、マッピングされるようにすることに成功しました。

アンダーソン氏のチームは、モデルに直接アクセスすることなく、モデルがどのようにデータを収集し、ローカルレプリカを作成し、システムにリアルタイムで検出されることなく回避攻撃を仕掛けるかについて十分な情報を入手した。これにより、実際のシステムが要求されている時間帯、地域、仮想マシン、データベース、サイズ、レプリケーション係数の組み合わせを判断でき、機械学習モデルが高可用性サービスを提供するために要求している物理ホストが過剰にプロビジョニングされている可能性が高くなります。

チームは、これらの過剰にプロビジョニングされたリソースを使用して、CPU とメモリを集中的に使用するワークロードを使用して「ノイジーネイバー」攻撃 (帯域幅、ディスク、CPU などのリソースを独占するクラウド コンピューティング アーキテクチャ) を開始し、同じハードウェアでホストされている高可用性サービスに対してサービス拒否攻撃を引き起こしました。アンダーソン氏は次のように結論付けた。「この攻撃は、IT システムに対する悪意ある攻撃と非常によく似ている。これらはすべて侵入し、監視を回避して実行し、最終的にサービスの可用性に影響を与える能力を持っている。」