人工知能技術の発展に伴い、人工知能はあらゆる分野で広く利用されるようになり、人類社会に広範かつ深遠な変化をもたらしています。しかし、人工知能技術は「諸刃の剣」であり、予期せぬセキュリティ上の問題をもたらす可能性もあります。自動運転車が人を轢くことから自律型兵器が人を殺すことまで、脳コンピューターインターフェースから超人を生み出すこと、人工知能が自己複製することまで、人工知能は本当に安全なのでしょうか?特に人工知能が軍事分野に応用されると、世界は恐ろしい「人工知能軍拡競争」に陥り、人工知能が制御不能になってしまうのでしょうか？

AIの安全性リスクの根本原因

人工知能が人類に安全上のリスクをもたらす理由は、一方では、アルゴリズムの説明不能性や強いデータ依存性などの技術的限界を含む人工知能技術の未熟さによるものであり、他方では、政治、経済、軍事、社会倫理への影響や課題を含む、人工知能技術の応用と濫用におけるさまざまな分野への影響と衝撃によるものである。特に軍事分野においては、人工知能がもたらすリスクと課題には、技術的な限界や未熟さがもたらすリスクに加え、既存の戦争メカニズムの変化、戦略的安定性への影響、戦争倫理への挑戦なども含まれます。この記事では、インテリジェント情報システムの誤判断リスク、補助意思決定システムのセキュリティリスク、自律型兵器システムのセキュリティリスクの 3 つの側面のみを分析対象として選択します。

インテリジェントインテリジェンスシステムにおける誤判断のリスク

人工知能技術に基づく知覚システムは、諜報、監視、偵察の任務に広く活用できますが、このようなインテリジェントな諜報システムには誤判断のリスクがあります。

まず、知能知能システムの視覚認識は、既存の画像データセットに基づいてトレーニングされます。データの量と質は、人工知能の知能判断の精度に影響を与えます。第二に、人工知能のコンピュータービジョンは人間の認知方法とは異なります。人工知能システムは、トレーニングを受けると、物体や人物の画像を認識して分類できるようになりますが、人間のように物体の意味や概念を理解することはできません。新しい画像データセットに直面すると、間違った判断を下すことになります。第三に、インテリジェントなインテリジェンス システムが騙されて誤った判断を下す可能性があります。これを敵対的サンプル攻撃と呼びます。たとえば、慎重に選んだ小さなテープを信号機に貼り付けると、AI システムが赤信号を青信号と誤認する可能性があります。 2019年8月、モスクワ国立大学とファーウェイ・モスクワ研究センターの研究者2人が、普通のプリンターで色付きのステッカーを印刷して帽子に貼るだけで、ArcFaceなどの業界最先端の顔認識システムが誤った判断を下す可能性があるという研究結果を発表しました。戦闘では、このような誤りにより攻撃目標の誤判断が生じ、民間人や友軍の人員、施設が偶発的に犠牲になることがあります。

考えてみてください。戦争において、敵対的サンプル攻撃によって敵の人工知能システムが兵士と民間人、軍事施設と民間施設を区別できないように意図的に仕向け、誤った攻撃をした場合、誰が責任を負うのでしょうか。

意思決定支援システムのセキュリティリスク

軍隊に人工知能支援の意思決定システムを適用することで、データ処理を高速化し、物体認識能力を向上させ、人間とコンピューターの相互作用のレベルを高めることができます。 DARPA は、戦闘の意思決定に人工知能を導入するために、2007 年に「ディープ グリーン」プロジェクトを開始しました。このプロジェクトでは、OODA ループの観察と判断のリンクの複数のコンピューター シミュレーションを実行し、さまざまな戦闘計画のさまざまな結果を事前に実証し、敵の行動を予測し、指揮官が正しい決定を下せるよう支援します。ただし、意思決定支援システムのセキュリティ リスクは無視できません。まず、戦場の環境の変化や戦場の複雑さにより、人工知能システムが誤った判断を下し、指揮官の決定に影響を及ぼす可能性があります。第二に、戦争の双方がAI支援の意思決定システムを採用した場合、戦場で敵対する側が展開するAIシステムは環境を複雑化し、1つまたは複数のシステムの分析能力を超え、システムの脆弱性をさらに悪化させ、事故やエラーの可能性を高めます。第三に、人工知能は意思決定のプロセスと時間を大幅に短縮し、予期せぬ出来事により国家間の紛争が激化するリスクを大幅に高めます。核攻撃の意思決定に人工知能が関与すれば、その結果はさらに深刻なものとなるだろう。元米国防副長官のロバート・ワーク氏はかつて、ロシアの「ペリメーター」核兵器管理システムを例に挙げ、人工知能は特定の指標やデータに基づいて誤った判断を下し、核兵器を発射する可能性があるため、核兵器の管理や制御に関与すべきではないと説明した。特殊な状況下では、人工知能が潜在的な脅威を誤って判断し、核戦争を引き起こしやすくなる可能性がある。

考えてみてください。もし意思決定支援システムが、敵が近いうちに核攻撃を仕掛ける可能性が 60% あると示していたら、私たちはどのように判断すべきでしょうか?率先して行動するか、それとも様子を見るか?

自律型兵器システムのセキュリティリスク

自律型兵器システムは、「非接触、死傷者ゼロ、低コスト」の戦争を実現し、戦争の敷居を下げ、武力の乱用につながる可能性が非常に高い。同時に、人間の介入なしに自律的な判断を下す自律型兵器システムの能力は、戦場にいる人々の感情的なつながりを断ち切り、攻撃者の罪悪感を軽減し、人道的危機を引き起こす可能性があります。自律型兵器システムは価値判断と主観的考慮が欠如しているため、民間人や民間施設への被害を合理的に評価できず、比例性の原則に違反して誤った攻撃を行う可能性があります。自律型兵器が戦況や環境の変化に適応できない場合、自律型兵器システムは区別原則に違反し、誤って民間人を負傷させる可能性もある。しかし、自律型兵器が環境の変化に適応し、自ら進化するようになれば、人間の制御を失う可能性がある。

自律型兵器システムは、戦争法の対象定義、適用範囲、基本原則、その他の側面について人類に再考を迫り、既存の戦争法に重大な試練を課すものである。

考えてみてください。すべての関係者が人工知能が「自己進化」する可能性があることを事前に認めた場合、プログラムの「自己進化」の結果に対して誰が責任を負うべきでしょうか? 「製造者が責任を負う」、「所有者が責任を負う」？それとも「それを使用する者は誰でも責任を負う」でしょうか?

人工知能セキュリティガバナンス

現在、人工知能は徐々に軍事分野に応用されつつあり、人工知能がもたらすリスクと課題はますます深刻化しています。人工知能が効果的に制限されなければ、人間が期待する発展の方向から逸脱すると、それがもたらす害は甚大で、壊滅的なものとなるでしょう。兵器開発の過程においては、効果的な人間制御の原則が守られなければならない。開発中および使用中のコントロールが含まれます。したがって、人工知能が人間にさらに貢献できるようにするために、一連の「ルール」を作成する必要があります。現在、社会のあらゆる分野で、AIセキュリティ監視の強化、AI原則の策定、AI安全基準の確立、説明可能なAI技術の開発などの取り組みが始まっています。