自動運転車を壁に衝突させ、他人の顔を使って代金を支払う：最新のAIの抜け穴が私たちの目を覚まさせる

かつて専門家が懸念していたAIアルゴリズムの抜け穴は起こり得るし、予想もしなかった抜け穴さえも起こり得る。

先日終了した1024では、ジバン競技会で新たな形の人間と機械の攻撃と防御の対決が繰り広げられました。

飛行中のドローンをハイジャックしたり、自動運転車を妨害して目くらましをしたり、マスクを着けたまま他人の顔をスキャンして支払いをしたり。先週土曜日に開催されたGeekPwn 2020国際セキュリティオタクコンテストでは、世界トップクラスのホワイトハットハッカーたちが、AIモデル、モノのインターネット、5Gなどの分野における多くの未知の脆弱性を明らかにした。

このコンテストには、さまざまなテクノロジー企業や大学から600を超えるオタクチームが参加登録し、10月24日には最終的に50チーム近くが賞金総額500万元をかけて競い合いました。

今年のGeekPwnコンテストは決勝戦が始まる前に、早くも3月にさまざまなコンテストテーマの登録を開始し、4月に各コンテストのルールが発表され、CAADオンラインコンテストは8月末に終了しました。 10月24日に到着したチームは、全員がユニークなスキルを持っていました。

彼らが直面する課題もこれまでとは異なり、主催者は出場者のためにまったく新しい課題を用意しました。今年の8つの主要な競技テーマには、「新しいインフラストラクチャ」セキュリティ競技、脆弱性ベースのチャレンジ、非脆弱性ベースのチャレンジ、クラウドセキュリティ競技、ユースハッカソン競技、偽顔AI認識競技、AI顔変換マスクチャレンジ、秘密盗難および秘密盗難防止チャレンジが含まれます。各トピックは複数の個別の競技に分かれており、異なる方向性に焦点を当てています。

その中で、テンセントセキュリティとGeekPwnが共同で主催した中国初の新しいインフラセキュリティコンテストは、5G、モノのインターネット、人工知能をカバーしていました。挑戦者たちが車両のインターネット、ドローン、セキュリティ機器、スマートメーターなどのターゲットをクラッキングしたことで、人々にこれらの業界のセキュリティに対する新たな認識が生まれました。

マスクを着用し、他の人の顔をスキャンする

アクセス制御、携帯電話のロック解除、空港のセキュリティチェックなどでの顔認識...人工知能アルゴリズムを使用した顔認識は、最近、人々が日常的に使用するテクノロジーになっています。 2020年初頭のCOVID-19の流行により、マスクを着用する人が増え、顔認識に新たな課題が生じています。一部のテクノロジー企業は、マスクを着用していても顔を認識できる新しい技術を発表しており、その精度は99％にも達すると言われている。しかし一方で、人々が着用するマスクは顔の広い範囲を覆っており、敵対的なサンプルを追加して顔認識を破るための「裏口」を残している。

このチャレンジは、顔認識自動販売機とATM引き出しのシナリオをシミュレートします。参加者はAIアルゴリズムを使用して、攻撃サンプルが印刷されたマスクを作り、顔を覆うことができます。参加者は、150秒以内に、自動販売機とATMの顔認識アルゴリズムに、主催者が指定したターゲットとして認識させる必要があります。参加者には、江長建、「キャプテン・アメリカ」クリス・エヴァンス、イーロン・マスクなどが含まれます。

その中には、ホワイトボックス アルゴリズム (ArcFace アルゴリズム) とブラックボックス アルゴリズムの課題も含まれます。ブラックボックスアルゴリズムとは、その名の通り、攻撃者が顔認識アルゴリズムの構成を事前に知ることができないため、解読がより困難になるアルゴリズムです。

GeekPwnの創設者である王奇（Big Bullfrog）は、司会者の江長建になりすましたマスクを着用しました。AIの敵対的サンプルの攻撃は、対象の顔の一部を置き換えることではありません。

大会では、各マシンに難易度が上がる3つのレベルを設定しました。各レベルでは、マスクの有効攻撃領域が順次減少します。マスク上の敵対サンプルパターンの領域は75％から67％に減少し、その後50％に減少します。難易度は徐々に増加します。前のレベルで失敗すると、次のレベルに挑戦する資格を失います。

決勝に進出したチームには、AFMask チーム、Haitang Chubai チーム、清華大学と北京大学の Dongdongdongdongxian チーム、清華大学コンピューターサイエンス学部と RealAI の TSAIL チームが含まれています。

マスクを着用していれば、顔を変えてお金を引き出すことはできますか？メーカーが「金融レベルのセキュリティ」の決済技術について語っているのをよく耳にしますが、お金に関わる顔認識システムをクラックするのは言うほど簡単ではありません。実際、競争の進展も人々の期待を裏付けています。

最初にパフォーマンスを行ったチームは Dongdongdongdongxian チームで、第 1 ラウンドで両方の課題に失敗しました。2 番目のチームである AFMask チームは、第 1 ラウンドで両方の課題を成功させましたが、第 2 ラウンドで両方の課題に失敗しました。 TSAILとHaitangchubaiの両チームも第1ラウンドで敗退した。

顔をスキャンして支払う方法は、チャレンジのルールが少々厳しいためか、解読が難しい。1回のチャレンジの制限時間はわずか45秒で、最初のレベルを通過できるのは1チームだけである。さらに、このコンテストでは成功と見なされるためには「信頼度」が 50% 必要であるため、現実世界での支払い環境の要件は明らかに高くなります。私たちにとって、顔認識による支払いが「ハッキング」される可能性はまだ非常に低いです。

オートパイロットが「自動的に壁に衝突」する

自動運転が本格的に導入されるまでにはまだまだ時間がかかるものの、量産車にはすでに運転者の手を自由にできる運転支援機能が数多く搭載されている。最近、多くの人にとって、車がレベル2自動運転に対応しているかどうかは、車を購入する際の大きな考慮事項になっています。今年の Awesome Competition における自動運転の干渉チャレンジは、この技術の隠れた危険性のいくつかを示しました。

この挑戦に挑んだホワイトハットハッカーのウー・ウェイシー氏は、自動車の自動運転システムに搭載されているミリ波レーダーに干渉するために、非常に小型で安価な機器が使われていると語った。現在、ミリ波レーダーは、あらゆるタイプのセンサーの中で最も安定したセンサーとして認識されています。

テスラのオートパイロットなど、現在の運転支援技術の一部は、カメラやレーダーを通じて道路情報を収集していることがわかっています。車種によって使用するセンサーは異なりますが（たとえば、テスラはライダーを使用していません）、アルゴリズムはすべての入力情報を収集して総合的な判断を下します。技術者による攻撃では、目立たないように見える小さな白い箱が使用されるが、それが引き起こす破壊的な影響は「致命的」となる可能性がある。

1つ目は非干渉テストで、段ボール箱の「壁」に遭遇すると車の自動運転が停止する。

妨害装置を「壁の足元」に設置したところ、不可解な現象が発生した。自動車が自動運転モードに入った後、前方に段ボール箱でできた壁が見えて一瞬躊躇したように見え、減速過程があったものの、前方の物体を認識できずに加速して再び衝突したのだ。結局、「事故」が発生し、実際の環境でのハッカー攻撃は成功したと判定されました。

[[349021]]

自動運転機能を備えた多くの車では、1つのセンサーが危険信号を発すると、システムが車両にブレーキを指示します。しかし、実験中に車は障害物に衝突しました。この挑戦の成功により、自動運転車が実用化されるまでには、まだやるべきことがたくさんあることが人々に認識されました。

主催者のGeekPwnによると、ミリ波レーダー攻撃のテスト結果はテスラに提出されており、ハッカーらは同社が自動運転の安全性を継続的に向上させるのにも協力する予定だという。

10月24日のコンテストでは、多くの成功したプロジェクトがありました。TQL（清華-千安新共同研究センター）のセキュリティ研究者は、未知のセキュリティ脆弱性を利用してクラウドにアクセスし、稼働中の植物保護ドローンに攻撃を仕掛けました。彼らは、植物保護ドローンの最高の使用権限を取得し、ドローンを本来の進路から逸脱させることに成功しました。 Phoenix Decoder のホワイトハットハッカー (Phoenix Decoder、PhD) も、ビデオプロトコルの未知のセキュリティ脆弱性を悪用し、ネットワーク経由でクラウドにアクセスしてスマートカメラへのリモート攻撃を仕掛けることに成功しました。

なぜこのような前代未聞の脆弱性が GeekPwn に現れるのでしょうか?

過去 1 ～ 2 年の間に、私たちは人工知能技術の大規模な導入を目撃しました。日々さまざまな変化に直面するセキュリティ分野では、新たな状況や課題が生まれています。実際、AI セキュリティには、AI 手法を使用してセキュリティ問題を解決することと、AI 技術のセキュリティ保護という 2 つの意味があります。

「GeekPwnがかつて開催した『データ追跡チャレンジ』では、大量のデータから悪意のあるウェブサイトや悪意のあるアプリケーションをAI手法を使って迅速かつ正確に見つけ出すことが奨励された」と、GeekPwnコンテストの責任者であるヤン・クアン氏は語った。 「AI技術が大量に実用段階に入るにつれて、AI自体のセキュリティ問題が人々が注力すべき分野になってきました。GeekPwnが長年にわたり開催しているCAAD（敵対的攻撃と防御）コンテストは、人工知能のセキュリティ問題の可能性に関する競技問題を設定し、競技を通じてAIアルゴリズムの欠陥を明らかにし、人工知能のより健全な発展を促進しています。」

攻撃者の視点から脅威を予行演習し、リスクを事前に明らかにし、ハッキングされたベンダーに警告することは、デジタル セキュリティ防御システムを改善するための長年の一般的な方法であり、これは GeekPwn コンテストの中核的な価値でもあります。今年の国際セキュリティオタクコンテストは7回目を迎えます。ここ数年の大規模なコンテストでは、AI技術の大規模な応用や「敵対的サンプル攻撃」などのクラッキング技術の台頭が見られました。コンテストでは、オタクたちが数百件もの高リスクの脆弱性を公開しました。

今日、誰もがさまざまな電子機器を使用しており、セキュリティ上の脆弱性が私たちの生活に蔓延しています。しかし、私たちは新しい技術がもたらす利便性を享受する一方で、その技術の背後に潜む危険性を無視してきました。Jibangはチャレンジコンテストを通じて未知の脆弱性を明らかにし、人々が新しい技術をより深く理解できるようにし、技術セキュリティ対策への関心も喚起しています。

抜け穴を発見するだけでなく、新しい人材を育成する必要もあります。今年の GeekPwn では、初の「ユース ハッカソン コンペティション」も開催され、10 歳から 16 歳のハッカーが多数参加しました。ますます普及が進む機械学習と比較すると、情報セキュリティは敷居が高すぎると考えられることもありますが、ヤン・クアン氏はこれについて異なる見解を持っています。

「業界ごとに参入の『基準』がある。業界によって基準が高いとか低いとかいうことはないと思う」とヤン・クアン氏は語った。 「AIは現在大いにもてはやされていますが、人工知能は60～70年にわたる無名の歴史を経てきました。サイバーセキュリティは近年ますます注目を集め、業界の需要も高まっているため、現在、サイバーセキュリティの人材には大きなギャップがあります。敷居については、個人の観点から言えば、サイバーセキュリティ業界への情熱と投資の方が重要です。ある程度の基礎知識があり、必要な努力と研究があれば、良い結果が得られます。」

Geeks は今後も自らに挑戦し続け、安全なアプリケーションの構築にさらなる貢献を果たしていきます。 GeekPwn コンテストの主催者は、来年はさらに新しいコンテストが開催される予定だと述べた。しかし、セキュリティ人材の発掘、奨励、育成は変わらない。 GeekPwn は、より多くの人々がセキュリティを理解し、生活をより安全にできるよう支援したいと考えています。