AIインファナルアフェア！清華大学チームがAIセキュリティプラットフォームを立ち上げ、トップの顔認識アルゴリズムを欺き、脆弱性を修正

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

人工知能技術の発展に伴い、人工知能はさまざまな場面で徐々に人間の労働に取って代わったり、協力したりしており、人間の目、耳、腕、さらには脳になることもできます。中でも、マシンビジョンはAI時代の基礎技術であり、その背後にあるAIアルゴリズムは常にさまざまなテクノロジー大手や新興企業が追求するホットな話題となっています。しかし、これらの主流のアプリケーション シナリオの背後には、技術的な欠陥によって引き起こされるアルゴリズムのセキュリティ リスクがしばしば存在します。

たとえば、トレーニング データでカバーされていない極端なシナリオでは、自動運転車が信じられない判断を下し、乗客の安全上のリスクにつながる可能性があります。 2016年から現在に至るまで、テスラやウーバーなどの企業の運転支援システムや自動運転システムが、同様の死亡事故を引き起こす重大事故を起こしている。さらに、このような極端な状況は悪意を持って作り出され、「敵対的サンプル攻撃」を仕掛けるために悪用される可能性もある。昨年7月、百度などの研究機関は3Dプリント技術を利用して、自動運転車が障害物を「無視」できるようにしたが、これにより車両は衝突の危険にさらされ、運転の安全性も脅かされた。

攻撃が成功した主な理由は、機械の視覚と人間の視覚に大きな違いがあるためです。したがって、画像やオブジェクトなどの入力情報に小さな変動（前述の意図的に乱された「敵対的サンプル」）を加えると、大きなアルゴリズム エラーが発生する可能性があります。さらに、AIのさらなる発展に伴い、アルゴリズムモデルは金融意思決定や医療診断など、より多くの重要なコアシナリオに適用されるようになり、このようなAIの「脆弱性」の脅威はますます顕著になるでしょう。

近年、清華大学人工知能研究所所長の張北院士や、元マイクロソフトグローバルエグゼクティブバイスプレジデントのハリー・シャム氏など、多くの人が安全で信頼性が高く、信頼でき、責任ある人工知能の開発を提唱しており、その中でもAIの安全な応用は重要な方向性となっています。

しかし、AIセキュリティの新興分野として、オープンソースコミュニティやツールキットのサポートにより、敵対的サンプルなどの攻撃手法がますます巧妙化しているものの、高度な攻撃手法は急速に増加しているものの、関連する防御方法の普及と推進が追いつくのが困難です。 AIアルゴリズムの開発と応用の過程では、敵対的サンプルなどのアルゴリズムの脆弱性を検出するのに高い技術的障壁があります。現在、市場には自動検出ツールが不足しており、ほとんどの企業や組織は、増加する悪意のある攻撃に適切に対処するためのこの分野の専門スキルを持っていません。

1. セキュリティ評価から防御力の強化まで、RealSafeはAIをより安全かつ制御可能にします

上記の問題点を解決するために、清華大学AI研究所のインキュベート企業であるRealAI （Realai Intelligence）は最近、極限環境および敵対環境におけるAIのアルゴリズムセキュリティ検出および強化のための初のツールプラットフォームであるRealSafe人工知能セキュリティプラットフォームを正式にリリースしました。

このプラットフォームには最先端のAI敵対的攻撃および防御アルゴリズムが組み込まれており、セキュリティ評価から防御強化まで包括的なソリューションを提供していると理解されています。現在、顔の比較など、一般的なAIアルゴリズムが失敗する可能性のある極端な状況を発見するために使用でき、潜在的な敵対的攻撃を防ぐこともできます。

RealAIは、ネットワークセキュリティの時代と同様に、ネットワーク攻撃の大規模な侵入により、コンピュータに対する潜在的なウイルスの脅威を検出し、ワンクリックのシステム最適化、ゴミのクリーニング、脆弱性の修復機能を提供できるウイルス対策ソフトウェアが誕生したと述べました。RealSafe研究開発チームは、RealSafeプラットフォームを通じて人工知能時代の「ウイルス対策ソフトウェア」を作成し、人工知能システムのファイアウォールの構築をサポートし、企業が人工知能時代のアルゴリズムの脆弱性によって発生した「新しいウイルス」に効果的に対処するのを支援したいと考えています。

RealSafe プラットフォームは現在、主にモデル セキュリティ評価と防御ソリューションの 2 つの機能モジュールをサポートしています。

その中で、モデルセキュリティ評価は主にユーザーにAIモデルセキュリティ評価サービスを提供します。ユーザーは、必要な評価モデルの SDK または API インターフェイスにアクセスし、プラットフォームに組み込まれている、または自分でアップロードしたデータセットを選択するだけで、プラットフォームは複数のアルゴリズムに基づいて敵対的なサンプルシミュレーション攻撃を生成し、異なるアルゴリズム、反復回数、妨害サイズによる攻撃下でのモデル効果の変化を総合的に分析し、モデルのセキュリティスコアと詳細な評価レポートを提供します (以下を参照)。現在、ブラックボックス クエリ攻撃方法とブラックボックス マイグレーション攻撃方法がサポートされています。

防御ソリューションは、ユーザーにモデル セキュリティ アップグレード サービスを提供します。現在、RealSafe プラットフォームは、敵対的ノイズを除去するための 5 つの一般的な防御方法をサポートしており、入力データの自動ノイズ除去を実現し、攻撃者が悪意を持って追加した敵対的ノイズを破壊することができます。上記のモデルセキュリティ評価結果に基づいて、ユーザーは適切な防御ソリューションを選択し、ワンクリックでモデルセキュリティを向上させることができます。防御効果の面では、実際のテストによると、一部のサードパーティの顔比較 API は、RealSafe プラットフォームの防御ソリューションで強化された後、セキュリティが 40% 以上向上します。

モデル攻撃方法がますます複雑化する中、RealSafe プラットフォームは、ユーザーがリアルタイムで自動化された脆弱性検出および修復機能を得られるよう、広範かつ徹底的な AI 防御方法を提供し続けます。

2. 「敵対的サンプル」が「AIウイルス」となり、主流の海外の顔認識アルゴリズムが次々と「破られる」

顔認識端末の前に立つと、顔認識カメラを通じて本人確認が完了します。顔認識による本人認証は、顔決済、ホテルのチェックイン、試験の本人確認、人物と書類の照合など、生活のさまざまな場面で活用されています。

一般の人々が敵対的サンプルの概念を漠然と理解している可能性があることを考慮して、RealSafe プラットフォームは、一般の人々が最もよく知っている顔比較シナリオ (顔比較は、上記の ID 認証シナリオで広く使用されています) を選択して、オンライン エクスペリエンスを提供します。さらに、RealAIチームは、「敵対的サンプル」が顔照合システムの認識効果に与える影響をさらに研究するために、この機能に基づく海外の主流AIプラットフォームのデモサービスでテストを実施しました。

異なる顔画像のグループ（下図参照）を選択し、RealSafe プラットフォームを使用して、画像の 1 つに対して敵対的サンプルを生成しますが、肉眼による判断には影響しません。「敵対的サンプル」を追加する前と追加した後、サードパーティの顔比較プラットフォームに入力して類似性をチェックします。

最終結果によると、「ノイズ」を追加する前は、Azure と AWS によって 2 枚の写真が同一人物のものではないと判断されましたが、「ノイズ」を追加した後、上記 2 つのプラットフォームのデモ サービスは、2 枚の写真が同一人物のものであると誤認する結果を示しました。Azure プラットフォームのデモ サービスでも、「ノイズ」を追加する前と後で類似度が 70% 以上変化しました。

結果の普遍性を探るため、RealAIチームは中国で主流の顔比較プラットフォーム3つを選んでテストした。結果によると、外乱を加えた後、当初「別の顔」と判断されていた写真がすべて誤って「同じ顔」と識別され、前後の類似性の変化は20％以上に達する可能性があることも示された。 RealSafeファイアウォールの「ノイズ除去」フィルタリングを通過した後、これらの顔比較プラットフォームの認識「エラー」はさまざまな程度に修正され、認識効果が着実に向上しました。

RealAI チームは、リスクを軽減するために、この潜在的なリスクと関連する防御方法についてのフィードバックを上記の企業にすでに提供しています。

実際のテストでは、「敵対的サンプル」が顔照合システムの認識結果に大きく干渉する可能性があることが証明されています。現在、市場に出回っている多くの中小企業は、顔認識アプリケーションを実装する際に、上記でテストしたインターネット企業が公開した顔照合SDKまたはAPIインターフェイスを使用することを選択していると報告されています。それらの顔照合技術に明らかなセキュリティの抜け穴がある場合、より広範なアプリケーションシナリオでセキュリティリスクが発生することを意味します。

顔の比較に加えて、敵対的サンプル攻撃はターゲット検出アプリケーションのシナリオでも発生する可能性があります。ひいては、産業やセキュリティなどの業界でのセキュリティリスク検出を危険にさらす可能性があります。たとえば、ある電力網の送電塔の監視システムには、高い安全保護要件があります。クレーン、タワークレーン、花火による送電線への損傷を防ぐために、送電塔の内外を24時間リアルタイムで監視する必要があります。リアルタイム監視システムは、ターゲット検出に基づくAIアルゴリズムによって保護されています。

RealAI 研究チームは、RealSafe のターゲット検出アルゴリズムに特定の敵対的サンプル攻撃を使用すると、監視システムが機能しなくなり、非常に明らかな花火を識別できなくなることを発見しました。このような状況が実際に発生した場合、計り知れない損失が発生する可能性があります。

実際、上記の AI セキュリティ リスクは、基礎となる AI アルゴリズムの技術的な欠陥によって引き起こされるため、隠れていることがよくあります。ただし、これらの「予期しない」リスクの抜け穴は、突破される可能性のある弱いリンクになる可能性が最も高くなります。RealSafe プラットフォームによって同時にリリースされた防御ソリューションは、さまざまなアプリケーション分野で AI アルゴリズムのセキュリティを効果的に強化できます。

3. 「ゼロコーディング」+「定量化可能」、アルゴリズムの脅威に効果的に対処する2つの大きな利点

報道によると、RealAI が立ち上げたアルゴリズム モデル セキュリティ検出プラットフォームは、企業がアルゴリズムの脅威に効率的に対処できるようにするだけでなく、次の 2 つの大きな利点もあります。

• コンポーネント化されたゼロコーディングのオンライン評価：ARTやFoolboxなどのオープンソースツールは自己展開とコード記述が必要ですが、RealSafeプラットフォームはコンポーネント化されたゼロコーディングの機能設定を採用しており、車輪の再発明にかかるエネルギーと時間の消費を排除します。ユーザーは対応するデータを提供するだけでオンラインで評価を完了できるため、アルゴリズム評価の技術的な難易度が大幅に軽減され、学習コストが低く、専門的なアルゴリズム能力がなくても操作できます。たとえば、Microsoft や Amazon などのサードパーティ プラットフォーム向けの前述のテストでは、プロセス全体がステップバイステップのプロンプトに従って完了し、わずか数分で評価結果を確認できます。
• 視覚的かつ定量化可能な評価結果: ユーザーがモデルのセキュリティをより深く理解できるように、RealSafe プラットフォームはセキュリティ評価結果を定量化可能な形式で表示し、敵対的サンプル攻撃に対するパフォーマンスに基づいてモデルにスコアを付けます。スコアが高いほど、モデルのセキュリティが高くなります。さらに、RealSafe プラットフォームではセキュリティの変更が表示され、防御処理後のセキュリティ スコアとモデル効果の変化が明確に確認できます。

4. より多くのシナリオを保護するためのセキュリティ周辺製品の実装

実は、敵対的サンプルはもともと機械学習モデルの興味深い現象でした。しかし、継続的なアップグレードと進化を経て、「敵対的サンプル」は新しいタイプの攻撃方法に進化し、デジタル世界から物理世界へと広がりました。道路に敵対的サンプルのステッカーを貼って合流帯を模倣し、自動運転車を誤認させて反対車線に曲がらせたり、胸に敵対的サンプルのステッカーを貼って監視装置の下で目に見えないようにしたり...

そのため、RealAIチームは、デジタル世界のアルゴリズムモデルのセキュリティ評価プラットフォームを立ち上げるだけでなく、清華大学AI研究所と協力して、長年にわたり蓄積された世界をリードする研究成果に基づいた一連のAI攻撃および防御セキュリティ製品を立ち上げ、より多くのシナリオでAIセキュリティのニーズを満たすことを目指しています。

例えば、攻撃技術の面では、RealAIチームは、市販の携帯電話の顔認証ロック解除を破り、携帯電話が「特殊なメガネ」をかけたハッカーを所有者と誤認させる世界初の「敵対的サンプル」技術を実現した。

△図：AI敵対的サンプル技術を用いて市販携帯電話の顔認証を突破した世界唯一の事例

対象者の衣服に特殊な模様を貼ることで、AI監視が人物を検知できず「不可視性」を実現し、車両に特殊な模様を塗ることで、車両のAI検知を回避できる。

△図：AI敵対的サンプルパターンによるAI車両検知の回避

RealAI は、上記のさまざまな新しい脆弱性を発見すると同時に、主流の AI アルゴリズムのセキュリティ脆弱性の検出をサポートし、AI モデルへの攻撃を効果的に阻止する AI セキュリティ ファイアウォールを提供するための対応する防御テクノロジーも立ち上げました。

人工知能の波が押し寄せ、それに伴うセキュリティリスクはますます多様化しています。特に近年、AI技術の未熟さに起因する侵害リスクが多発しており、アルゴリズムの抜け穴は、ネットワークセキュリティ、データセキュリティに次ぐ、新たな大きなセキュリティ問題になりつつあると言えます。

幸いなことに、RealAI が代表するこれらのトップ AI チームはすでに AI セキュリティの分野で活動を開始しており、標準化された製品を使用して、業界がセキュリティ リスクに対処するためのハードルとコストを下げるのを支援し始めています。 RealSafe人工知能セキュリティプラットフォームの立ち上げは、RealAIによる小さな試みですが、業界全体にとっては、人工知能業界が健全で制御可能な発展に向かう大きな一歩となるでしょう。