機械学習はデータセキュリティに対する新たな脅威や裏口となるのでしょうか?

機械学習アルゴリズムは重要なサイバーセキュリティ技術となり、現在は主にマルウェアの特定、セキュリティアナリストへのフィルタリングされたアラートの提示、パッチ適用の脆弱性の優先順位付けに使用されています。機械学習や人工知能システムのセキュリティを研究する専門家は、将来的にそのようなシステムがプロの攻撃者に悪用される可能性があると警告している。

ニューラルネットワークの冗長性により、攻撃者はモデルのパフォーマンスに大きな影響を与えることなく、ファイルサイズの20％を占めるデータを一般的なニューラルネットワークファイル内に隠すことができる可能性があると研究者らは昨年発表した研究論文で述べている。 2019年の別の論文では、侵害されたトレーニング サービスがニューラル ネットワークにバックドアを仕掛けることができ、そのバックドアはネットワークが他のタスクを処理するようにトレーニングされている間も実際に存続することが示されました。

図 1. 敵対的機械学習の脅威マトリックス

出典: MITRE

ベリービル機械学習研究所（BIML）の共同設立者兼CEOのゲイリー・マグロウ氏は、2つの研究論文は機械学習の潜在的な脅威を示しているが、最も差し迫ったリスクはデータを盗んだり改ざんしたりする攻撃だと述べた。 「機密情報を機械に入力し、機械にそのデータを学習させると、機械の中に機密情報がまだ残っていること、そしてそれを取り出すより洗練された方法があることを人々は忘れてしまいます」と同氏は述べた。「開発者が技術の新しい用途を創造することに集中しすぎて、開発する製品のセキュリティを無視すると、この潜在的な脅威が悪化することがあります。」

2020 年、Microsoft、MITRE、その他の企業が共同で、潜在的な攻撃をリストしたレポート「Adversarial ML Threat Matrix」を発表しました。報告書では、企業は人工知能や機械学習技術に依存するシステムに潜在的なリスクがあるかどうかを評価する必要があると述べている。機械学習ファイルにデータを隠すなどのリスクは、日常的なリスクとあまり変わりません。企業がシステムの耐性をテストしない限り、攻撃者によってトリガーされたときに特定の方法で動作するモデルが作成される可能性など、機械学習を標的とした追加のリスクが現実のものになります。

ソフトウェアセキュリティ企業ソフォスの主任科学者ジョシュア・サックス氏は、その理由は防御側が将来実行が困難になる複雑な攻撃ではなく、現在の攻撃にのみ焦点を当てているからだと述べた。セキュリティ専門家が業務を遂行するために機械学習システムを利用するケースが増えるにつれ、こうした脅威の状況を認識することがより重要になります。研究者らが作成した敵対的攻撃マトリックスには、マルウェアの検出を回避してトラフィックを制御するツール、ボットネット ドメイン生成アルゴリズム (DGA)、マルウェア バイナリが含まれています。

マグロウ氏は、機械学習の応用により、データがより大きなリスクに直面すると指摘した。機密データは機械学習システムから復元できることが多いため、同時に、機械学習によって生成されたシステムは安全でない方法で動作することがよくあります。機械学習システムに対して実行されたクエリが公開されると、操作中にデータも公開され、機械学習の重要でありながらあまり強調されていない側面、つまりデータセキュリティを確保することの重要性が浮き彫りになります。

サックス氏は、機械学習の脅威は、より効果的な攻撃を計画するために人工知能/機械学習技術を使用する攻撃者とは異なると述べた。ロボットや自動運転車の分野では、動作にアルゴリズムを使用するだけでなく、AI の決定を実際の動作に変換するため、機械学習攻撃がより頻繁に発生する可能性が高く、セキュリティ担当者はこれらのアルゴリズムを弱体化させる動作を防止および防御する必要があります。

研究者らは、機械学習への攻撃には多くの種類がある可能性があると示していますが、攻撃者が目的達成に役立つはるかに単純なツールを依然として持っているため、そのほとんどは、まだ何年も先のことです。

参考リンク:

https://www.darkreading.com/vulnerabilities-threats/machine-learning-in-2022-data-threats-and-backdoors-