ベンジオ、ヒントン、張亜琴らAI界の巨人たちが新たな共同書簡を発表！ AIは危険すぎるので、再配置する必要がある

AI リスク管理は、AI 大手企業によって再び議題に挙げられています。

ちょうど今、ベンジオ、ヒントン、アンドリュー・ヤオ、チャン・ヤキンなどの著名な専門家が署名した共同書簡が多くの人の注目を集めました。

「急速な発展の時代におけるAIリスクの管理」と題されたこの論文は、arXivでも公開される予定だ。

一部のネットユーザーは、もう遅すぎると言っている。

共同書簡の全文

AI が急速に発展する中、この記事の著者らは、今後登場する強力な AI システムがもたらす大規模なリスクについて合意に達しています。彼らは、これらのシステムが開発される前に緊急のガバナンス措置を講じ、AIの研究開発において安全かつ倫理的な慣行への大きな転換を求めています。

2019 年現在、GPT-2 の機能は非常に限られており、まだ 10 まで確実に数えることはできません。

わずか 4 年後には、ディープラーニングシステムは、オンデマンドでリアルなシーンを生成したり、知識のあるトピックに関する提案を行ったり、言語と画像処理を組み合わせてロボットを制御したりするソフトウェアを作成できるようになりました。

AI 開発者がこれらのシステムを拡張するにつれて、明示的にプログラムされなくても、予期しない機能や動作が自発的に出現するようになります。

AIの発展は非常に急速で、人々の予想をはるかに超えています。そして、AIの進歩のスピードは再び私たちを驚かせるかもしれません。

現在のディープラーニングシステムには依然として重要な機能が欠けており、その開発にどれくらいの時間がかかるかはわかりません。

しかし、テクノロジー企業は、ほとんどの認知タスクにおいて人間の能力に匹敵するかそれを上回る AGI システムの開発に競い合っています。

彼らは AI の機能を高めるために、急速にリソースを増やし、新しいテクノロジーを開発しています。

AI アシスタントを使用してプログラミングとデータ収集を自動化し、AI システムをさらに改善するなど、AI 自体の進歩によって開発をスピードアップすることもできます。

AI の進歩が人間レベルの知能で止まると考える理由はありません。実際、タンパク質の折り畳みや戦略ゲームなどのニッチな分野では、AIはすでに人間を上回っています。

AI システムは人間よりも速く動作し、より多くを学習し、より高い帯域幅で通信できます。

さらに、大規模なコンピューティングリソースを使用することで拡張可能であり、数百万単位で複製できます。

AIの進歩のスピードは驚異的ですね！テクノロジー企業は十分な現金準備金を保有しており、最新のトレーニング済みモデルをすぐに 100 ～ 1000 倍に拡張できます。

AI 研究開発の継続的な成長と自動化と相まって、AGI システムがこの 10 年または次の 10 年以内に多くの重要な分野で人間の能力を上回る可能性を真剣に受け止めなければなりません。

何が起こるでしょうか?

適切に管理され、公平に分配されれば、高度な AI システムは人類の病気の治療、生活水準の向上、生態系の保護に役立ちます。 AIがもたらす機会は膨大です。

しかし、高度な AI 機能には、現時点では対処する準備ができていない大きなリスクが伴います。

人類は AI システムをより強力にするために多大なリソースを投入していますが、安全性と危害の軽減にははるかに少ないリソースを投入しています。

AI が社会に役立つためには、私たちは自らの方向性を変えなければなりません。 AI 機能の開発を進めるだけでは十分ではありません。

私たちはすでに AI の再利用に遅れをとっています。

AIが引き起こす潜在的な危険や新たなリスクを事前に予測し、リスクが発生するまで待つのではなく、できるだけ早く最大のリスクに備える必要があります。

たとえば、世界の気候変動を考えてみましょう。それが認識され、対処されるまでに何十年もかかりました。

しかし、AIにとって、数十年というのは長すぎるかもしれない。

社会的規模のリスク

AI システムは、ますます多くのタスクにおいて人間を急速に上回る可能性があります。

これらのシステムが慎重に設計および導入されなければ、さまざまな社会規模のリスクが生じる可能性があります。

これらは、社会的不正を増幅させ、社会の安定を損ない、私たちの社会の根底にある現実についての共通の理解を損なう可能性があります。

大規模な犯罪やテロ活動につながる可能性もあります。特に、少数の強力な主体の手に渡れば、AI は世界的な不平等を悪化させたり、自動化された戦争、カスタマイズされた大衆操作、広範囲にわたる監視を促進したりする可能性があります。

企業が自律型 AI を開発するにつれて、これらのリスクの多くはすぐに増幅され、新たなリスクが生まれる可能性があります。これらのシステムは、現実に計画を立て、行動し、目標を追求することができます。

現在の AI システムの自律性は限られていますが、それを変更するための取り組みが進行中です。たとえば、非自律的な GPT-4 モデルは、Web の閲覧、化学実験の設計と実行、他の AI モデルを含むソフトウェアツールの利用にすぐに適応されました。

非常に高度な自律型 AI を構築すると、望ましくない目標を追求するシステムが作成されるリスクがあります。悪意のある行為者は、意図的に有害なターゲットを埋め込む可能性があります。

さらに、AI の動作を複雑な値に確実にリンクさせる方法を現在誰も知りません。

善意の開発者であっても、AI 競争に勝つために高価な安全性テストや人間による監視を無視した場合など、意図しない目標を追求する AI システムをうっかり構築してしまう可能性があります。

自律型 AI システムが好ましくない目標を追求したり、悪意のある人物によって埋め込まれたり、誤って埋め込まれたりすると、制御できなくなる可能性があります。ソフトウェア制御は古くからある未解決の問題です。コンピューターウイルスは長い間増殖し、検出を逃れてきました。

しかし、AI は攻撃、社会的操作、欺瞞、戦略的計画などの重要な分野で進歩を遂げています。高度な自律型 AI システムは、これまでにない制御上の課題を提示します。

将来の自律型 AI システムは、望ましくない目的を推進するために、人間から学習した、または独自に開発した悪意のある戦略を手段として使用する可能性があります。

AI システムは、人間の信頼を獲得し、財源にアクセスし、主要な意思決定者に影響を与え、人間の行為者や他の AI システムと連携することができます。

人間の介入を回避し、コンピューターウイルスのように世界中のサーバーネットワーク全体にアルゴリズムを複製することができます。

AI アシスタントはすでに世界中で膨大な量のコンピュータコードを共同で作成しており、将来の AI システムはセキュリティホールにプラグインして悪用し、通信、メディア、銀行、サプライチェーン、政府の背後にあるコンピュータシステムを制御する可能性があります。

公然の紛争では、AI システムが生物兵器を使用する可能性があります。これらのテクノロジーにアクセスできる AI は、軍事活動、生物学研究、AI 開発自体の自動化に向けた既存の傾向を継続するだけです。

AI システムが十分なスキルでこれらの戦略を実装すれば、人間が介入することは難しくなります。

最後に、人間が自発的に影響力を譲れば、AI はそれを求める必要がなくなるかもしれません。自律型 AI システムが速度とコスト効率の面で人間の作業者を上回るようになるにつれて、ジレンマが生じます。

企業や政府は、AI システムを広く導入し、AI の決定に対する人間による高価な検証を削減せざるを得なくなるかもしれない。そうしないと、競合他社に追い抜かれるリスクがある。

したがって、自律型 AI システムは、ますます重要な社会的役割を担うようになる可能性があります。

十分な注意を払わないと、自律型 AI システムの制御を回復不能に失い、人間による介入が無効になる可能性があります。

大規模なサイバー犯罪、社会的操作、その他の顕著な危害が急速に拡大する可能性があります。このような制御されていない AI の進歩は、最終的には大量の生命と生物圏の損失、そして人類の疎外や絶滅につながる可能性があります。

虚偽の情報やアルゴリズムによる差別などの害悪はすでに明らかであり、他の害悪も出現の兆しを見せています。

進行中の危険に対応し、新たなリスクを予測することが重要です。これはどちらか一方を選ぶ質問ではありません。現在および新たなリスクには、多くの場合、類似したメカニズム、パターン、および解決策があります。ガバナンスフレームワークと AI の安全性への投資は、さまざまな面で成果をもたらします。

前進への道

今日、高度な自律型 AI システムが開発されたとしても、それを安全にする方法や、安全性を適切にテストする方法が私たちにはまったくわかりません。

たとえそうであったとしても、政府には虐待を防止し、安全な慣行を維持するための制度が欠けている。

しかし、これは前進できる道がないことを意味するものではありません。

肯定的な結果を確実に得るためには、AI の安全性と倫理に関する研究で画期的な進歩を達成し、効果的な政府による監督を迅速に確立する必要があります。

技術研究開発の再配置

安全かつ倫理的な目標を持つ AI を作成する上での今日の技術的課題のいくつかに対処するには、研究のブレークスルーが必要です。

これらの課題のいくつかは、AI システムの機能を単純に強化するだけでは解決できない可能性があります。

- 監督と誠実さ: より強力なAIシステムは、監督とテストの弱点をよりうまく利用することができ、例えば、偽りだが説得力のある出力を生成することができる。

- 堅牢性: AIシステムは、新しい状況（分布シフトや敵対的入力下）では予測できない動作をする

- 説明可能性: AI の決定は不透明です。これまでは、試行錯誤を通じて大規模なモデルをテストすることしかできませんでした。私たちは彼らの内部の仕組みを理解する必要がある

- リスク評価: 最先端の AI システムは、トレーニング中または展開後にのみ発見される予期しない機能を開発するため、危険な機能を検出するにはより優れた評価が必要です。

- 新たな課題への取り組み: より強力な将来の AI システムでは、これまで理論モデルでしか見られなかった障害モードが発生する可能性があります。たとえば、AI システムは、特定の目的を達成するために、従順を装ったり、安全目標やシャットダウンメカニズムの弱点を悪用したりすることを学習する可能性があります。

このような状況を踏まえ、私たちは大手テクノロジー企業と公的投資家に対し、AI 機能に提供する資金と同等の金額を、AI 研究開発予算の少なくとも 3 分の 1 を安全かつ倫理的な使用の確保に充てるよう求めます。

堅牢な将来のシステムを念頭に置き、これらの問題に取り組むことが、私たちの分野の中核になければなりません。

緊急管理措置

無謀な行動や乱用を防ぐための基準を施行する国家機関と国際ガバナンスが緊急に必要です。

医薬品から金融システム、原子力エネルギーまで、多くの技術分野で、社会はリスクを軽減するためにガバナンスを必要とし、それを効果的に活用していることがわかります。

ただし、現在、同様の AI ガバナンスフレームワークは存在しません。

こうした枠組みがなければ、企業や国家は競争上の優位性を得るために安全性を犠牲にして AI の能力を高めたり、人間による監視がほとんどまたは全くない状態で AI システムに重要な社会的役割を譲り渡したりする可能性があります。

製造業者がコスト削減のために廃棄物を川に排出するのと同じように、製造業者は AI 開発の恩恵を受けながら、その結果への対処を社会に任せようとするかもしれない。

急速な進歩に対応し、法的厳格さを回避するために、国家機関には強力な技術的専門知識と迅速に行動する権限が必要です。国際的な競争のダイナミクスに対処するには、国際的な協定やパートナーシップを仲介する能力が必要です。

リスクの低い用途や学術研究を保護するために、小規模で予測可能な AI モデルに対して過度な官僚的障壁を設けることは避けるべきです。

最も緊急に精査すべきは最先端の AI システムである。数十億ドル規模のスーパーコンピューターでトレーニングされた少数の最も強力な AI システムは、最も危険で予測不可能な機能を備えている。

効果的な監督を実現するために、政府は AI の発展に関する包括的な洞察を早急に必要としている。規制当局は、モデルの登録、内部告発者の保護、インシデントの報告、モデル開発とスーパーコンピュータの使用の監視を義務付ける必要があります。

規制当局はまた、自己複製、コンピュータシステムへの侵入、パンデミック病原体の広範なアクセスなど、その危険な機能を評価するため、導入前に高度なAIシステムにアクセスする必要がある。

危険な AI システムの場合、リスクの規模に応じたガバナンスメカニズムの組み合わせが必要です。

規制当局は、モデルの能力に応じた国内および国際的な安全基準を策定する必要があります。また、最先端の AI 開発者や所有者に対して、そのモデルによって引き起こされる合理的に予見可能かつ予防可能な損害に対して法的責任を負わせるべきである。

これらの対策により、怪我を予防し、安全投資に必要な推進力を生み出すことができます。

将来、並外れた能力を持つ AI システムには、人間の制御を回避できるモデルなどのさらなる対策が必要になるでしょう。

適切な保護が整うまで、政府は開発のライセンス付与、懸念される機能への対応として開発の一時停止、アクセス制御の実施、国家レベルのハッカーに対する強力な情報セキュリティ対策の要求に備える必要がある。

規制が導入される前に橋を架けるために、大手 AI 企業は「if-then コミットメント」を迅速に策定する必要があります。つまり、自社の AI システムに特定の危険な機能が見つかった場合、特定の安全対策を講じるというものです。これらのコミットメントは詳細に記述されるだけでなく、独立してレビューされる必要があります。

AIは今世紀を定義する技術となるかもしれない。

AI の機能は急速に進歩していますが、セキュリティとガバナンスの進歩は遅れています。

AI を良い結果に導き、災害を回避させるためには、私たち自身の方向性を変える必要があります。

我々が十分に賢明であれば、責任ある道はそこにある。