マイクロソフト、AIシステムツール「Counterfit」のソースコードを公開

最近、マイクロソフトは、開発者が AI および機械学習システムのセキュリティをテストできるように設計された AI セキュリティリスク評価ツール Counterfit をオープンソース化しました。同社によれば、Counterfit により、組織は自社のビジネスで使用されているアルゴリズムが信頼できるものであることを確認するための評価を実施できるようになるという。

[[397559]]

現在、人工知能技術は、医療、金融、防衛などの規制産業でますます利用されるようになっています。しかし、組織はリスク軽減戦略の導入に遅れをとっています。 Microsoft の調査によると、一部の企業ユーザーは、AI システムの安定性とセキュリティを確保するための適切なリソースがないと回答しています。

マイクロソフトは、カウンターフィットはAIシステムに脆弱性があるかどうかを評価する必要性から生まれたもので、AIサービスを積極的に保護することを目的としていると述べた。このツールは、AI モデルを標的とするために特別に作成された攻撃スクリプトのコレクションとして始まり、その後、複数のシステムの大規模なベンチマークを行う自動化製品へと進化しました。

内部的には、Counterfit は敵対的フレームワーク用のレイヤーを提供するコマンドライン ユーティリティであり、モデルを回避および盗むために使用できるアルゴリズムがプリロードされています。 Counterfit は、公開された攻撃をセキュリティ コミュニティが利用できるようにし、モデル攻撃を構築、管理、開始できるインターフェイスを提供することを目指しています。

Counterfit を使用して AI システムの侵入テストを実行する場合、セキュリティ チームはデフォルト設定を選択したり、ランダムなパラメーターを設定したり、各パラメーターをカスタマイズして幅広い脆弱性をカバーしたりできます。複数のモデルを持つ組織は、Counterfit に組み込まれた自動化機能を使用してスキャンし、複数のスキャンのオプションを使用して運用ベースラインを作成できます。

Counterfit は、ターゲット モデルに対する攻撃を記録するためのログ記録も提供します。 Microsoft が指摘しているように、テレメトリにより、エンジニアリング チームはシステム障害モードに対する理解を深めることができます。

社内的には、Microsoft は AI レッド チーム オペレーションの一環として、また AI 開発フェーズで Counterfit を使用して、本番環境に移行する前に脆弱性を見つけています。同社はまた、Azure AI サービスに基づく AI プラットフォームを開発している航空宇宙大手のエアバスを含む複数の顧客と Counterfit をテストしたと述べた。

「産業界における人工知能の利用が増加しています」。 「この種の技術を保護することは重要であり、特に問題空間のどこに機能空間攻撃が実行される可能性があるかを理解することが重要です」とエアバスの上級サイバーセキュリティ研究者マチルダ・ロード氏は声明で述べた。

基本的に、企業は AI が操作されておらず安全であると人々に信じてもらいたいのです。ガートナーが1月に発表した「AIリスク管理の5大優先事項」フレームワークの推奨事項の1つは、組織が「攻撃に対する特定のAIセキュリティ対策を講じて、耐性と回復力を確保する」ことです。この調査会社は、2024年までに、専用のAIリスク管理コントロールを実装する組織は、実装しない組織よりも2倍の頻度でAIによる悪影響を回避できるようになると予測しています。 ”

ガートナーのレポートによると、2022 年までに、すべての AI サイバー攻撃の 30% が、トレーニング データの汚染、モデルの盗難、または敵対的サンプルを悪用して機械学習を活用したシステムを攻撃することになります。