TensorFlow で発見された脆弱性の背後にあるもの: AI セキュリティに関する私たちの愚かさと無知

AI がインターネット セキュリティに与える影響について議論してきたとき、AI 自体も安全ではないという問題を見落としている可能性があります。

過去2日間のニュースは私たちにこのことを強く思い出させました。最近、Google は自社の機械学習フレームワーク TensorFlow に重大なセキュリティリスクにさらされました。このリスクはハッカーによってセキュリティ上の脅威を生み出すために利用される可能性があります。Google はこの脆弱性を確認し、修正に対応しました。

これらの脆弱性は事前に発見されていますが、それ自体は実際の脅威にはなりません。しかし、このニュースは依然として、ある種の不安が醸成されていることを私たちに感じさせます。 TensorFlow、Torch、Caffe などの機械学習開発フレームワークは、現在では AI 開発者や研究者にとってほぼ標準的な構成となっていますが、最近これらのプラットフォームにはセキュリティ上の脆弱性があり、ハッカーに悪用される可能性があることが明らかになっています。

ある意味、これらのニュースは私たちに同じ問題を思い出させます。つまり、機械学習に関する資金やユーザー関係を集めることに熱中すると、私たち自身も大きな危険にさらされる可能性があるのです。

さらに重要なのは、AI の安全性の問題に関しては、私たちのほとんどがまだ非常に愚かで素朴な「無知な状態」にあり、その論理と有害性についてほとんど何も知らないことです。

この記事は、これらの内容を普及させたいと考えています。結局のところ、大きな事件が実際に起こったときに驚くよりも、予防する方が良いです。さらに、Google などの大企業が自社の機械学習プラットフォームの宣伝に全力を尽くし、ユーザーを引き付けるために大量の無料リソースを短期間で繰り返しリリースする場合、開発者自身も注意し、考えなしに使用しないようにする必要があることを開発者や企業は認識する必要があります。

一生懸命努力した成果が台無しになるよりは、より多くのレビュー メカニズムとより厳格なセキュリティ サービスを導入する方が価値があります。

死角に潜む悪魔:機械学習フレームワークのセキュリティ上の隠れた危険性

機械学習プラットフォームの脆弱性により、開発者の努力が無駄になる可能性があるというのは冗談ではありません。今年前半のランサムウェア事件で、現代のハッカー攻撃がいかに恐ろしいものであるかが分かりました。ランサムウェア自体は、Microsoft システムの脆弱性を悪用して標的型攻撃を開始し、端末をロックします。

ランサムウェアの洗礼を受けて、情報産業は「脆弱性覇権の時代」に突入したと言える。抜け穴が多ければ多いほど、より広範な制御と優位性が得られます。ハッカーの攻撃がより巧妙になり、攻撃の閾値が低くなるにつれて、平均的な能力を持つ攻撃者もプラットフォームの脆弱性を悪用して広範囲にわたる攻撃を仕掛けることができるようになります。

しかし、「脆弱性産業」が今日の世界にもたらすセキュリティリスクにますます注目するにつれ、私たちは無意識のうちに視野に盲点を作り出してしまいました。それが人工知能です。

ここでは、今日のほとんどの AI 開発タスクの基本的なプロセスを簡単に紹介します。一般的に言えば、開発者がディープラーニング アプリケーションまたはシステムをゼロから開発することは非常に面倒であり、ほぼ不可能です。そのため、開発者は主流の開発フレームワークを使用することを選択します。例えば、今回隠れた危険性にさらされたGoogle TensorFlow。

このようなプラットフォームを使用すると、開発者はプラットフォームが提供する AI 機能をオープンソースのアルゴリズムやモデルと組み合わせて、独自の AI アプリケーションをトレーニングできます。これは高速かつ効率的であり、最先端の技術力も吸収できます。 「自動車メーカーはホイールの開発から始めるべきではない」という論理は確かに正しいが、ホイール内部に問題があったらどうなるのかという問題も生じる。

[[214058]]

過去 2 年間、多数の開発者が機械学習フレームワークを使用して AI をトレーニングすることに集中しており、同様のプラットフォームでセキュリティ上の問題が発生したことがなかったため、この分野のセキュリティ要因は真剣に考慮されていませんでした。おそらく、ほとんどの AI 開発者はセキュリティ問題の存在について考えたことがないでしょう。

しかし、今回発見された脆弱性は、TensorFlow自体のシステム上の脆弱性を悪用することで、ハッカーが悪意のあるモデルを簡単に作成し、悪意のあるファイルを使用するAIアプリケーションを制御・改ざんできることを示しています。

実際に使用されているディープラーニングアプリケーションでは複雑なトレーニングプロセスが必要になることが多いため、悪意のあるモデルの攻撃ポイントを短期間で検出することは困難です。しかし、知能体内の論理的な接続により、1 点がハッキングされると、システム全体が制御される可能性が高くなります。この状況によって生じるセキュリティリスクは、インターネット時代のハッカー攻撃よりも明らかに深刻です。

これを理解すると、あまり良くないコンセンサスに達するかもしれません。私たちが心配してきた AI の制御不能は、AI が賢すぎて権力を掌握しようとしているからではなく、悪意を持ったハッカーによって起こされる可能性があるということです。

AIの「制御不能」：今日私たちが直面する問題

古典的なコンピューティングの情報保存および相互作用モードと比較して、人工知能、特に機械学習タスクにおける最大の変化の 1 つは、情報処理の整合性と集約性を示すことです。たとえば、有名な AlphaGo は、チェスの各動きに対して固定の応答モードを与えるのではなく、ゲームを予測して自己推論を行います。その知恵は、ある特定の情報の集合体ではなく、完全な「能力」です。

これは AI の強みですが、弱点にもなり得ます。 AlphaGo のトレーニング モデルがハッカーの攻撃を受け、システムがキャプチャすべきタイミングでキャプチャできなくなったと想像してください。すると、最終的に明らかになるのは、チェスの動きが誤って計算されたということではなく、チェスのゲーム全体に勝つことはできないということだ。

はっきり言って、AIは全身に影響を与える運命にあるので、プラットフォームの脆弱性がもたらすセキュリティリスクは特に恐ろしいです。

結局のところ、AlphaGo は単なるクローズド システムです。たとえ攻撃を受けたとしても、最悪の場合、ゲームに負けるだけです。しかし、ますます多くの AI が実際のタスク、さらには極めて重要なタスクを処理できるようにトレーニングされています。プラットフォームレベルで征服されると、計り知れない危険がもたらされます。

例えば、自動運転車の集団的判断ミス、IoTシステムのハッカーによる制御、金融サービスにおけるAIの突然の麻痺、エンタープライズサービスにおけるAIシステムの崩壊など。こうした事態は起こらなければまだしも、一度起これば大問題となる。

[[214059]]

AI システム間の接続は密接かつ複雑であるため、多くの主要アプリケーションはバックエンド AI システムに従属し、バックエンド AI システムはプラットフォームによって提供されるトレーニング モデルに依存します。そして最後のプラットフォームが失われると、ほぼ必然的に大規模な連鎖的な崩壊につながるでしょう。これが、今日私たちが最も心配すべきことかもしれません。AIの制御不能です。

AI 業界のリスクは、ハッカーが機械学習プラットフォームの根本的な脆弱性を克服すると、建物全体の最下階を爆破するのと同じことになるという点にあります。このロジックはこれまであまり注目されていませんでしたが、可能であることが証明されました。最も恐ろしいのは、未知の脆弱性や危険に直面して、世界中の AI 開発者がほとんど無力になっていることです。

国内と国家：AIをめぐる避けられない戦略的闘争

AI 開発プラットフォームで発生する可能性のある根本的な問題とその深刻な危険性を認識すると、AI セキュリティと国家レベルでの戦略的闘争という論理的な関連性が頭に浮かぶでしょう。

百度などの企業に代表される中国のAI力の台頭により、すでにアメリカのテクノロジー界は脅威を感じていると言う人もいる。実際のところ、この闘争は業界レベルだけに存在するのではありません。今年7月、ハーバード大学ケネディスクールのベルファー科学国際問題センターは「人工知能と国家安全保障」と題する報告書を発表し、AIは今後ほとんどの国家産業に革命的な影響を与え、産業の重要なアプリケーションになる可能性が高いと具体的に指摘した。そして、AIのセキュリティが脅かされると、米国経済全体が大きな打撃を受けることになる。

もちろん、同じ論理は、現在米国と競争している AI 大国である中国にも当てはまります。 TensorFlowのセキュリティ脆弱性が明らかになった後、私たちはマシンビジョン分野の国内スタートアップ企業に連絡を取りました。彼らが使用したトレーニングモデルはすべて、TensorFlowで共有されているコミュニティから提供されたものでした。話し合いの結果、もし彼らの製品が本当にハッカーの悪意あるモデルによって攻撃されたら、彼らは即座に麻痺してしまうだろうという結論に達しました。

これはあくまでスタートアップ企業です。TensorFlow をトレーニングに使用している国内企業には、JD.com、Xiaomi、ZTE などの大企業や、多くの科学研究機関の研究開発プロジェクトが含まれていることが分かっています。今後、ますます多くの重要な中国の AI プロジェクトが欧米のプラットフォームでトレーニングされ、展開される可能性が非常に高くなります。これらのプロジェクトがハッカーの攻撃にさらされたり、他国によって制御されたりした場合、私たちは本当にこの AI 開発の道を確信できるのでしょうか?

これは決して根拠のない心配ではありません。ランサムウェアの発生後、その発生源を調査したところ、これらのハッキングツールは米国の諜報機関が開発したサイバー攻撃兵器に由来していることが判明した。武器は人を殺すために作られる。それが製造者によって使われようと、盗まれて漏洩しようと、最終的に被害を受けるのは警戒を怠った人々だ。

さまざまな可能性を考慮すると、AI の安全性の問題はもはや冗談ではありません。中国の業界は少なくとも2つのことを実行できる。1つ目は、専門的なAI保護業界を確立し、インターネットセキュリティをAIセキュリティにアップグレードすること。2つ目は、欧米のプラットフォームへの依存を徐々に減らすことである。これは決してポピュリスト的な閉鎖政策ではない。代わりに、開発者により多くの選択肢を与え、業界全体が自然に国家の AI セキュリティ戦略に近づくようにする必要があります。例えば、チップからフレームワーク、プラットフォームシステム、セキュリティ監視メカニズムまですべてを網羅する百度の開発者エンパワーメント計画は、中国に属するべきAI開発の基盤を徐々に中国内に保持しつつある。

つまり、AI自体のセキュリティ保護は、開発者が注意を払う必要があり、大規模なプラットフォームが責任を負う必要があり、国家が競争する必要があるリンクになっています。最終的には、人間が作ったAIが制御不能になるような事件が起きないことを願っています。結局のところ、インターネットの歴史において、人々が間違いから学んだ事例は数多くあるのです。

今回は、後から気づくのではなく、危険を予見できるといいですね。