AI サイバーセキュリティ脅威マップ

12月15日、欧州連合ネットワーク情報セキュリティ機関（ENISA）は、 「人工知能サイバーセキュリティの課題：人工知能に対する脅威の状況」と題する報告書を発表しました。この報告書では、人工知能サイバーセキュリティのエコシステムと脅威の状況について説明し、人工知能セキュリティに関連する課題についても強調しています。

ENISAがAIサイバーセキュリティ脅威マップを公開

1. はじめに

人工知能は私たちの生活に影響を与え続けており、自動化された意思決定機能を通じてデジタル変革において重要な役割を果たしています。新興技術として、人工知能がもたらす利点は非常に明白ですが、潜在的なリスクも伴います。たとえば、自動運転車やスマートヘルスケアなどのセキュリティが重要な分野に人工知能技術を適用すると、個人や企業に新たな、潜在的に予測できないリスクをもたらす可能性があります。また、新たな攻撃方法や技術が生まれ、データ保護の新たな課題が生じる可能性もあります。

AI 自体のセキュリティを確保するには、保護すべき内容を理解し、関連するデータ ガバナンス モデルを理解し、複数の関係者が関与するエコシステムで統合的に脅威を管理し、AI 自体のセキュリティを確保するための具体的な制御を開発する必要があります。

AI とサイバーセキュリティは、さまざまな相互依存関係を持つ多次元的な関係にあります。

• 人工知能のサイバーセキュリティ問題。人工知能モデルとアルゴリズムは堅牢性に欠けており、敵対的モデル干渉や操作、AI 対応の宇宙物理システムへの攻撃、AI システムで使用されるデータへの攻撃など、セキュリティ上の脆弱性があります。
• 人工知能はサイバーセキュリティを強化します。人工知能はツールとして、より効果的なセキュリティツールを開発することで、より強力なサイバーセキュリティ機能を生み出すことができます。また、ビッグデータ分析、捜査、証拠収集、犯罪活動への人工知能の応用など、人工知能を使用して法執行機関がサイバー犯罪に適切に対処するのを支援することもできます。
• 人工知能の悪意ある使用。 AI を悪用すると、マルウェア生成、高度なソーシャル エンジニアリング、DDoS 攻撃、偽データを生成するための深層生成モデル、パスワード クラッキングなどに使用される AI など、より高度な攻撃が発生する可能性があります。このような使用には、既存の AI システムへの攻撃と、攻撃活動における AI の応用の両方が含まれます。

2. AIライフサイクル

AI システムのライフサイクルは、設計と開発 (要件分析、データ収集、トレーニング、テスト、統合などのサブフェーズを含む)、インストール、展開、運用、保守、廃棄など、相互に依存するいくつかのフェーズで構成されます。

図1 AIライフサイクルの一般的な参照モデル

2.1 データ

データは AI における最も価値のある資産の 1 つであり、AI ライフサイクルを通じて常に変換されます。図 2 は、AI ライフサイクルのさまざまな段階（データ取り込み、データ探索、データ前処理、特徴の重要度（特徴抽出と同様）、トレーニング、テスト、評価）におけるデータ変換プロセスを示しています。 AIライフサイクルにおけるデータ変換には、参加者、コンピューティングリソース、ソフトウェア、さらにはプロセスや文化などの無形資産など、他のいくつかの種類の資産が関与します。参加者の経験と知識は、意図しない潜在的な脅威をもたらす可能性があります。

図2 AIライフサイクルの開発フェーズにおけるデータ変換プロセス

2.2 AIライフサイクルの参加者

AI ライフサイクル全体には、AI システムの設計と作成のエンジニアリングに携わる AI デザイナーや AI アプリケーション開発者など、さまざまなタイプの参加者がいます。さらに、AI システムで使用されるソフトウェアやアルゴリズムを開発する AI 開発者もいます。彼らの経験と能力は、安全な AI システムの開発において非常に重要な役割を果たします。

AI 開発者や設計者の仕事は、データ サイエンティストの仕事と非常に密接に関連しています。

• データ サイエンティストの仕事には、人工知能モデルの設計と開発の支援が含まれます。データ サイエンティストは、主にデータから知識と洞察を抽出するために、データの収集と変換にも携わっています。
• データ エンジニアの主な責任は、さまざまなソースからデータを抽出して収集し、それを変換、クリーニング、標準化、および保存することです。データ エンジニアは主にデータ フローを設計、管理、最適化します。

AI ライフサイクルにおけるその他の主要なプレーヤーには、データ所有者が含まれます。データ所有者は、AI システムのトレーニングまたは検証に使用されるデータセットの所有者です。データ所有者は、データ プロバイダーまたはデータ ブローカーである場合もあります。

AI ライフサイクルの参加者には、トレーニング済みまたは調整済みのモデルの提供を担当するモデルプロバイダーも含まれます。これらのモデル プロバイダーの中には、モデルをサービスとして提供するクラウド プロバイダーもあります。人工知能システムをトレーニングするためのサードパーティのフレームワークとライブラリを開発者に提供するサードパーティプロバイダーもあります。

最後に、サービスの消費者である AI システムのエンドユーザーがいます。

3. AI資産

脅威マップの非常に重要な要素は、脅威にさらされる可能性のある資産の種類です。人工知能には、データ、ソフトウェア、ハードウェア、通信ネットワークなどの一般的な ICT 関連資産に加えて、モデルやデータなどの特定の資産もあり、具体的には、データ、モデル、参加者、プロセス、環境/ツール、および関連成果物の 6 つのカテゴリが含まれます。

3.1 データ

データ資産には、生データ、ラベル付きデータセット、パブリック データセット、トレーニング データ、テスト データセット、検証データセット、評価データ、前処理済みデータセットなどが含まれます。

3.2 モデル

モデル アセットには、アルゴリズム、データ前処理アルゴリズム、特徴選択アルゴリズム、モデル、モデル パラメーター、モデル パフォーマンス、トレーニング パラメーター、ハイパーパラメーター、トレーニング済みモデル、微調整されたモデルなどが含まれます。

3.3 参加者

参加者の資産には、データ所有者、データ サイエンティスト、AI 開発者、データ エンジニア、エンド ユーザー、データ プロバイダー/エージェント、クラウド サービス プロバイダー、モデル プロバイダー、サービス コンシューマー/モデル ユーザーなどが含まれます。

3.4 プロセス

プロセス アセットには、データの取り込み、データの保存、データの探索/前処理、データの理解、データのラベル付け、データの収集、機能の選択、モデルの選択/構築、トレーニングとテスト、モデルの微調整、モデルの適応 - 転移学習/モデルの展開、モデルのメンテナンスなどが含まれます。

3.5 環境/ツール

環境/ツール資産には、通信ネットワーク、通信プロトコル、クラウド、データ取り込みプラットフォーム、データ探索プラットフォーム、DBMS（データベース管理システム）、分散ファイルシステム、コンピューティングプラットフォーム、統合開発環境、ライブラリ、監視ツール、オペレーティングシステム/ソフトウェア、最適化技術、機械学習プラットフォーム、プロセッサ、可視化ツールなどが含まれます。

3.6 関連製品成果物

関連する成果物資産には、アクセス制御リスト、ユースケース、データ管理、価値提案とビジネス モデル、データ管理戦略、記述的統計パラメーター、モデル フレームワーク、ソフトウェア、ファームウェアとハ​​ードウェア、高レベル テスト ケース、モデル アーキテクチャ、既に設計されたモデル、データとメタデータのスキーム、データ インデックスが含まれます。

4. AIの脅威

ENISA の脅威分類方法によると、AI セキュリティの脅威は主に次のカテゴリに分類できます。

• 悪意のある活動/不正使用 (NAA): 悪意のある行為を通じて特定のターゲットを盗んだり、変更したり、破壊したりする目的で、ICT システム、インフラストラクチャ、ネットワークに対して意図的に行われる行為を指します。
• 盗聴/傍受/ハイジャック (EIH): ユーザーの同意なしに第三者の通信を聴取、傍受、または制御する行為。
• 物理的攻撃 (PA): インフラストラクチャ、ハードウェア、または接続された物理資産を破壊、公開、変更、無効化、盗難、または不正アクセスすることを目的とした行為。
• 意図しない損害 (UD): 財産または人に損害、危害、または傷害を引き起こし、故障または有用性の低下につながる意図しない行為。
• 障害または誤動作 (FM): ハードウェアやソフトウェアなどの資産の部分的または完全な機能障害。
• 停止 (OUT): 予期しないサービスの中断、または必要なレベルを下回る品質の低下。
• 災害: 重大な損害や人命の損失を引き起こす予期せぬ事故または自然災害。
• 法的 (LEG): 損害賠償を請求または回復するために法律に基づいて第三者が行う訴訟。

4.1 悪意のある活動/不正使用（NAA）

• データ セットおよびデータ転送プロセスへの不正アクセス。
• データセットおよびデータ転送プロセスの操作。
• モデルコードへの不正アクセス。
• AIの結果への侵入と制限。
• 侵入型 AI は正しいデータを妨害します。
• 機械学習のハッキングは正しいデータに干渉します。
• データ汚染;
• データの変更;
• 権限の昇格。
• 内部脅威;
• アルゴリズムの動作を最適化します。
• 敵対的サンプルに基づく誤分類。
• モデル中毒;
• 反撃の転換;
• オンラインシステム操作。
• ホワイトボックス、指向性または非指向性の攻撃。
• データ操作のマーク付け。
• トレーニング データセットに対するバックドア挿入攻撃。
• 機械学習のトレーニングおよび検証データのハッキング。
• 敵対的サンプル
• データの精度が低下する。
• 機械学習モデルの整合性操作。
• DDoS 攻撃;
• 侵入機械学習前処理;
• 侵入モデルフレームワーク。
• データ インデックスの破損。
• AI機械学習の結果の有効性を低下させる。
• モデルバックドア。

4.2 盗聴/傍受/ハイジャック（EIH）

• データ干渉;
• データの盗難;
• モデルの漏洩;
• 弱い暗号化。

4.3 物理攻撃（PA）

• 信頼性の低いデータ インフラストラクチャによるエラーまたは制限。
• モデルの破壊;
• インフラシステムに対する物理的な攻撃。
• 通信ネットワーク攻撃;
• その他の意図的な妨害行為。

4.4 意図しない損傷（UD）

• AI の結果をハッキングまたは制限すること。
• データ操作中のプライバシー侵害;
• 特徴選択を破棄します。
• AI システムの運用構成またはエラー処理。
• 機械学習モデルのパフォーマンス低下。
• オンラインシステム操作。
• データの適切な表現の欠如
• 統計エラー処理;
• データの精度が低下する。
• モデルの構成ミス。
• データ所有者によってもたらされる偏見。
• 個人情報漏洩;
• モデルフレームの損傷。

4.5 障害（FM）

• 信頼性の低いデータ インフラストラクチャによって発生するエラー。
• サードパーティプロバイダーの障害。
• 機械学習モデルのパフォーマンス低下。
• データ品質チェックが欠落していました。
• 弱い需要分析;
• 不十分なリソース計画
• データ管理戦略が弱い。
• データ インデックスの破損。
• 侵入機械学習前処理;
• 侵入モデルフレームワーク。

4.6 停止（OUT）

• インフラストラクチャのセットアップ/システムのダウンタイム。
• 通信ネットワークがダウンしました。

4.7 災害

• 地震、洪水、火災等の自然災害。
• 気候変動など

4.8 法律（LEG）

• データ インデックスの破損。
• ベンダーロックイン;
• 弱い需要分析;
• データガバナンス戦略の欠如
• 個人情報漏洩。

5. 結論

ENISA AI 脅威アトラスは、今後のサイバーセキュリティ ポリシーの取り組みと技術ガイダンスの基礎を形成し、AI 関連の課題についても説明します。特に重要な領域の 1 つは、AI に関連するサプライ チェーンです。したがって、AIサプライチェーンのすべての要素を含むEUエコシステムが、安全で安心なAIにとって重要であることを強調することが重要です。 EUの安全なAIエコシステムは、サイバーセキュリティとデータ保護を優先し、関連するイノベーション、能力構築、意識向上、研究開発活動を促進する必要があります。