人工知能はそれほど信頼できるものではない。システムは「知らないことを知らない」し、アルゴリズムは安全ではない。

[[419993]]

文/陳潔

人工知能技術は、画像分析から自然言語理解、科学分野に至るまで、現在の科学技術分野で常にホットな話題となっています。ニューラルネットワークの「深い」変化のおかげで、大量のデータとアルゴリズムに支えられた計算能力で複雑なデータを処理することが日常的になりました。これは過去には想像もできなかったことであり、人工知能技術の急速な発展の必然的な結果です。

顔認識、自動運転、スマートホームなど、さまざまな AI 応用シナリオが日常生活に導入されつつある現在、消費者の観点から見ると、AI は生活をより良くしていますが、このテクノロジーは十分に強力でしょうか?学術界からの答えは正反対です。現在の人工知能技術は、安全性と信頼性の点で実際にはまったく不十分なのです。

人工知能はそれほど信頼できるものではない

最近開催された第1回「若手科学者50²フォーラム」で、清華大学の朱軍教授は急速に発展する人工知能業界に冷水を浴びせた。「今日の人工知能は完璧には程遠い」。まず、ディープラーニングは依然として堅牢性が低いという問題に直面しています。たとえば、多くの携帯電話には顔認識ソリューションが搭載されていますが、多くの携帯電話は、特殊なテクスチャパターンが印刷されたメガネで簡単にロック解除できます。安全性の要件が高い自動運転システムの場合、ハッカーは標識に特定のパターンを追加するだけで、システムが速度制限標識を一時停止標識として認識し、致命的な事故につながる可能性があります...

これらの問題は、人間の直感と非常に一致している、またはよくある問題のように思えますが、非常にインテリジェントなシステムの前に置かれると、間違った結果が生成されます。その理由は何でしょうか?

「ここで重要な問題は、現在の人工知能技術は『自分が知らないことを知らない』ということだ」朱軍氏は、人間は「自分が知っていることを知ること、そして自分が知らないことを知ること」という原則に従うことができると述べた。

これは事実ですが、現在主流の人工知能技術のほとんどには、この機能がありません。たとえば、人工知能が知らないリンゴの写真を、たくさんの猫と犬の写真の比較システムに入れて、それが何であるかを分析するように人工知能に依頼すると、答えは猫か犬のどちらかになります。これは、リンゴの写真が猫と犬のどちらに似ているかによって決まります。

人工知能の学習能力については疑いの余地はないが、「知らないことを知る」能力は欠けている。学術界は、人工知能システムが「知らない」と認識している場合、それは実際にはより高度な知能レベルを表していると考えています。 「具体的には、現実世界には人工知能の認識に影響を与える2種類の不確実性があります。1つは、より直感的な環境とデータの不確実性によって引き起こされる不完全な情報収集です。もう1つは、より抽象的で認識が難しい情報です。このモデルの不確実性により、ビッグデータモデルは曖昧になり、人工知能はトレーニング中に非常に優れたパフォーマンスを発揮するかもしれませんが、テストではパフォーマンスのギャップが見つかります。」朱軍氏は、現在の解決策は、ベイズ知能理論についてより深い研究を行い、この不確実性を定量的かつ客観的に計算して最良の結果を得る方法を解決することだと述べました。ベイズ知能理論の研究の深化を促進するためには、産業界、学界、研究界の共同の取り組みが必要です。

セキュリティは越えなければならないギャップである

人工知能の概念は1956年のダートマス会議にまで遡りますが、この分野が人々の生活を真に大きく変え、トップの囲碁プレイヤーに勝利したり、タンパク質の構造を予測したり、人間のパイロットに勝利したりするなど、人類の世界で最大の課題の多くを克服したのはここ10年のことです。しかし、現在の人工知能技術は信頼性に大きな問題があるだけでなく、安全性と信頼性の面でもボトルネック期に入り始めています。

8月3日、第1回世界デジタル経済会議のAI産業ガバナンステーマフォーラムで、中国科学院院士の張北氏は、「現在のAIのセキュリティガバナンスは危機に瀕している。テクノロジーが「深海」に飛び込むにつれて、研究により、AIアルゴリズムにはいくつかの根本的な問題があり、本質的に安全ではなく、攻撃に対して脆弱であることが判明した」という見解を述べた。 「人工知能技術が直面しているセキュリティ問題は非常に特殊です。問題は設計にあるのではなく、アルゴリズム自体の安全性の欠如から生じています。このアルゴリズムの安全性の欠如は、第 2 世代の人工知能によって引き起こされています。」

「学術界は技術開発の次の方向について考え始めています。新世代の人工知能の開発の道は、知識、データ、アルゴリズム、コンピューティングパワーという4つの要素を活用しながら、第1世代の知識駆動型人工知能と第2世代のデータ駆動型人工知能を統合し、説明可能で堅牢な新しい人工知能の理論と方法を確立し、安全で信頼性が高く、信頼性が高く、スケーラブルな人工知能技術を開発することです。」朱軍氏は、「安全性と信頼性」は第3世代人工知能の中核的な開発目標として徐々にコンセンサスとなり、データとアルゴリズムのセキュリティも学術界と業界の専門家が重点的に研究するテーマの1つになったと述べた。