超人工知能は人類を滅ぼすのか？

  [[410355]]

北京時間7月9日、ジョージ・ドヴォルスキー氏のスーパー人工知能に関する意見は次のとおりです。機械知能は人類が植え付けた最後の悪になるだろうと私は信じています。 20 年以上にわたって、私が考え、書いてきたことの多くは、機械知能が人類を滅ぼす可能性についてでした。これについては多くの批判を受けていますが、それでも、私たちが発明した道具によって人類の文明が破壊される可能性を無視することはできないと言いたいです。

「超人工知能が人類を滅ぼす」という考えには多くの異論があるが、ある異論は驚くほど一般的であり、私はそれがばかげていると思う。これは、超知能自体が不可能であるとか、邪悪な機械が人間を破壊するのを止められないということを意味するものではありません。素朴な反論は、信じられないほど賢いコンピューターには人類を絶滅させる手段も動機もないというものだ。

制御と理解の欠如

人間の知能と同等か、それをはるかに上回る知能レベルを持つ生物学的または人工的なシステムがあると想像してください。遺伝子工学、ナノテクノロジー、情報技術、認知科学の融合により、人間の脳（さらには人間以外の動物の脳）を根本的に強化することができ、人間を超える機械知能は、おそらくコンピューターサイエンス、認知科学、全脳シミュレーションの進歩から生まれるでしょう。

そして、これらのシステムの 1 つが故障したり、意図的に武器として使用されたりします。残念ながら、いったんこれらのシステムが導入されると、私たちはそれをほとんど制御できず、私たちの要求にどのように対応するかを予測する方法はありません。

スーザン・シュナイダーは、Center for the Future of the Mindの所長であり、『Artificial You: AI and the Future of the Mind』の著者です。 「これは私たちがよく制御問題と呼んでいるものです」と彼女は電子メールで説明した。「簡単に言えば、私たちよりもはるかに賢い AI をどうやって制御するかということです。」

スナイダー氏は、有名なペーパークリップのシーンを例えとして挙げた。ペーパークリップのシナリオは、適切にプログラムされていない AI を備えたペーパークリップ製造業者が、自社のペーパークリップの生産効率を最大化しようとしているというものです。その結果、この人工知能は地球上のあらゆるものをペーパークリップに変え、地球を破壊します。オックスフォード大学の哲学者ニック・ボストロムは、2014年の著書『スーパーインテリジェンス：道、危険、戦略』の中で、この種のリスクを「倒錯したインスタンス化」と名付けた。あるいはもっと簡単に言えば、スナイダーが言うように、3つの願いを叶えることが「決してうまくいかない」魔法の精霊の古い物語があるのだ。ここでの共通の懸念は、私たちがスーパーインテリジェンスに何かをしてもらいたいのに、私たち自身がスーパーインテリジェンスが何をしたいのか詳細に理解していないため、スーパーインテリジェンスが私たちの願いを深刻に誤解し、私たちが望まないことが起こるのではないかということです。

たとえば、太陽エネルギーを効率的に抽出する方法を「願う」ことができても、超知能が地球全体の資源を奪い、非常に大規模な太陽光発電パネルを建設してしまうことになるかもしれません。ボストロム氏の推測によれば、「人間の幸福を最大化する」ために超知能が必要になると、脳内の快楽中枢の配線をやり直したり、脳をスーパーコンピューターにアップロードしたりして、5秒間の快楽サイクルを永遠に経験させたりすることになるかもしれない。スーパー人工知能が登場すると、災害は奇妙で予期せぬ形で起こるでしょう。

人工知能研究所のAI理論家エリゼア・ユドコウスキー氏は論文の中で、スーパーインテリジェンスを最適化プロセス、つまり「大きな探索空間で小さな目標を達成して論理的な現実世界への影響を生み出すシステム」とみなしている。問題は、これらのプロセスは、私たちが想像もできないような広大な可能性の空間を探索する傾向があることです。ユドコウスキー氏は次のように書いている。

「私は遠くの街を訪れていて、地元の友人が空港まで車で送ってくれると申し出てくれました。その地域はよく知りません。友人が交差点に着いたとき、どの方向に曲がるかは予測できません。しかし、友人の一連の予測不可能な行動の最終結果は予測できます。私たちは空港に到着するでしょう。友人の家は市内の別の場所にあるので、まったく異なる一連の方向転換をするかもしれませんが、それでも私は自信を持って目的地を予測できます。これは科学的観点から奇妙なシナリオではありませんか? プロセスの結果は予測できますが、プロセスの中間ステップはどれも予測できません。」

人間の文脈から切り離され、目標ベースのプログラミングによって駆動される機械は、A 地点から B 地点に到達しようとする際に、かなりの付随的損害を引き起こす可能性があります。恐ろしいのは、人工知能が自らの目的を達成しようとする際に、強力な既存のリソースである人間を悪用し、悪用する可能性があり、どのように悪用し、悪用するかは予測できないことです。

AIを人間に優しいものにする

事前に決められた一連の倫理的配慮に基づいてプログラムされた AI は、特定の落とし穴を回避できるかもしれないが、AI がたどる可能性のあるすべての道を予測することは事実上不可能であると Yudkowsky 氏は指摘している。

制御問題に対する 1 つの解決策は、人間に適合する道徳原則を AI に植え付けることです。この考え方によれば、もし我々が成功すれば、強力な機械が危害を加えたり、我々の倫理観に反する方法で動作したりすることを避けることができるかもしれない。シュナイダー氏は、問題は「道徳的にプログラミングしたい場合、優れた道徳理論が必要であり、倫理については意見の相違があまりにも多い」ことだと述べた。

それはとても理にかなっています。人類は、誰もが同意できる共通の道徳規範に到達したことがない。電車について少しでも知っている人なら、物事が急がば回れになると倫理的な問題が信じられないほど複雑になることがあると言うでしょう。人間の道徳を教えることで超知能を安全かつ制御可能にするという考えはうまくいかないかもしれない。

方法と手法

「超知能の行動を予測できるなら、私たち自身がその超知能だ」とルイビル大学のコンピューター科学および工学教授、ローマン・ヤンポルスキー氏は説明する。「超知能は、定義上、どんな人間よりも賢いので、マラリア治療の新薬の開発、戦場戦略の開発、地域の電力網の管理など、私たちが与える課題に対して、未知の未知の解決策を思いつくことができる」。それでもヤンポルスキー氏は、賢い超知能がどのように世界を支配したり破壊したりしようとするかを観察することで、超知能の悪意ある行動を予測できるかもしれないと考えている。

「例えば、タンパク質の折り畳み問題の解決法」、つまりアミノ酸の配列を使ってタンパク質の3次元形状を決定する方法は、「生物学的ナノロボットの軍隊を作るのに使える可能性がある」と同氏は述べた。「そして、それほど奇抜ではないアプローチもある。AIは株取引やポーカー、執筆などを行い、その収益で人間を雇って自分の命令を実行させることもできる。最近の暗号通貨の人気を考えると、これは大規模かつ秘密裏に実行できる可能性がある」

ヤンポルスキー氏は、十分な資金があれば、クラウドからコンピューティング リソースを簡単に取得し、ソーシャル エンジニアリング、あるいはヤンポルスキー氏の言葉を借りれば「人間の労働力の軍隊」を雇用することで現実世界に影響を与えることができると述べました。スーパーインテリジェンスは、富、CPU パフォーマンス、ストレージ容量、影響範囲の蓄積を通じて、徐々に強力になり、影響力を増していく可能性があります。

恐ろしいのは、超知能が人間の指示の範囲外で行動の仕方について何らかの判断を下す可能性があることだと、スペインのマドリード自治大学の計算科学者マヌエリ・アルフォンソカ氏は説明する。

同氏は、超知能AIは「人間がいなければ世界はより良くなると結論付け、人間を絶滅させるかもしれない」と述べた。アルフォンソカ氏は、この恐ろしい可能性を理由に、地球外知的生命体がまだ発見されていない理由を挙げる人もいると付け加えた。おそらく「地球外知的生命体はすべて超人工知能に置き換えられ、これらの超人工知能は人間を単なる劣等生命体と見なすため、人間とコミュニケーションを取るつもりはない」とアルフォンソカ氏は述べた。

人類を意図的に滅ぼそうとする超知能にとって、成功するための最も簡単な方法は、私たちの生物学的弱点を利用することでしょう。人間は食べ物なしで約30日間、水なしでは3〜4日しか生きられませんが、酸素がなければ数分も生きられません。十分に知能の高い機械が、何らかの自己複製ナノテクノロジーの群れを通じて、大気から酸素を完全に除去する方法を発見する可能性は十分にある。未来学者たちはこれを「地球規模のエコファジー」、あるいは恐ろしい「グレイ・グー・シナリオ」と呼んでいます。このシナリオでは、慎重に設計された多数の分子マシンが特定のリソースを探し出し、それを自分自身のコピーを含む他のものに変換します。この資源は酸素である必要はなく、人間の生存に不可欠な重要な資源を除去するだけでよいのです。

非SF

すべてSFっぽい話だが、アルフォンソカ氏は、特に『マトリックス』を例に挙げて、スペキュレイティブ・フィクションは潜在的なリスクを浮き彫りにするのに役立つと述べた。スナイダー氏も架空の物語の力を信じており、ディストピア短編映画「スローター・マシーン」について言及した。この短編映画では、武装ドローンが教室を攻撃します。シュナイダー氏は、危険な人工知能や自律型殺人マシンに関する懸念がますます「身近なもの」になりつつあると述べた。たとえば、ドローン技術は既存の顔認識ソフトウェアを悪用して人間をターゲットにする可能性があります。 「これは深刻な問題です」とシュナイダー氏は語り、だからこそ『キリング・マシーン』は一見の価値があると考えている。

MITの機械学習研究者マックス・テグマーク氏は2017年の著書で、「ターミネーター」のような映画は漠然とした将来のシナリオを提示する一方で、「AIがもたらす本当のリスクと機会から注意をそらす」とも書いている。テグマーク氏は、より微妙で、さらに不吉なシナリオを思い描いている。彼は、巧妙なソーシャルエンジニアリングと策略、そして貴重な資源の着実な収集を通じて、機械が世界を征服する姿を思い描いています。テグマークは著書の中で「プロメテウス」について言及している。これは、適応知能と汎用性を利用して「さまざまな方法で人間を制御する」仮想の汎用人工知能（AGI）であり、抵抗する者は「単にプロメテウスをオフにする」ことで制御を解除することはできない。

汎用機械知能の出現はそれ自体が重大な意味を持つものであり、人類の歴史における転換点となる可能性もある。汎用AIは「より優れた汎用AIを再帰的に設計する能力を持つ。最終的には、物理​​法則がこの進化し続ける汎用AIの唯一の制約となるだろう。もちろん、物理法則によって許される知能は、人間の知能のレベルをはるかに超えているようだ」とテグマーク氏は書いている。言い換えれば、AI は超知能を発明するために使用できるということです。私たち人類が「知能爆発」を目撃するかもしれないそのような時代は、私たちが見たくない深刻な結果をもたらすでしょう。

「もし人間の集団が知能爆発の制御に成功したら、その集団は数年で世界を制圧できる可能性がある」とテグマーク氏は書いている。「もし人間が知能爆発を制御できなければ、AI自体がもっと早く世界を制圧するだろう。」

永遠の観客

もう一つの重要な脆弱性は、人間がテクノロジーのループからますます排除されつつあることに関係しています。今では株式取引の大部分がアルゴリズムによって行われていることはよく知られているが、おそらくもっと悪名高いのは、アルゴリズムが接近戦で人間の F-16 パイロットに勝つこともできるようになったということだ。人工知能は、人間の介入なしに重要な決定を下すことがますます求められています。

シュナイダー氏は、すでに「軍隊におけるAI軍拡競争」が始まっており、「AIへの依存度が増すと、人間の知覚能力や認知能力が軍事的課題に十分迅速に対応できなくなる」と懸念している。シュナイダー氏は、「私たちは AI にこれらのタスクを任せるようになるだろうが、人間に引き続き情報を提供し続けるにはどうしたらよいかはまだわかっていない」と語る。彼女はまた、軍事攻撃に直面した際に、人間が入ってくるデータを統合する前に、AI が最終的には人間に代わって対応するようになることも考えられると説明した。

人間は、特に戦場でプレッシャーを受けているときにはミスを犯しがちですが、AI の誤判断はさらなるリスクをもたらす可能性があります。これは1983年に起こった事故を思い出させます。当時、ソ連の早期警戒システムが核戦争を引き起こすところだった。

SF作家アイザック・アシモフは、この日が来ることをすでに予見していた。彼の小説では、ロボット工学の三原則に制約されているにもかかわらず、私たちの最善の努力にもかかわらず、彼のロボットはさまざまなトラブルに遭遇します。同様のことを行おうとすると、同様の問題が発生するでしょう。しかし、シュナイダー氏は、ロボットの同胞を導く道徳的原則について合意すること自体が難しいと語る。

しかし、試してみる以外に選択肢はありません。何が危機に瀕しているかを考えると、敗北を笑い飛ばすというのは実際には選択肢ではなかった。ボストロム氏が言うように、私たちの「知恵はテクノロジーを上回らなければなりません」。

現在、危機に瀕しているのは、超知能の出現以前から発生する可能性のある数多くの地球規模の災害である。私たち人間が地球規模の災害に対処するのが得意ではないことは疑いの余地がありません。

コロナウイルスとその厄介な変異体はほとんど知性を持っていないが、それでもこのウイルスは受動的に活動することができ、生物学的にも社会的にも人間の弱点を突くことができる。世界的パンデミックを引き起こしたウイルスは、私たちの予防措置に適応することができますが、それは常に生物学の制約を受けるランダムな突然変異と選択のプロセスを通じてのみ可能です。さらに不吉なことに、悪意のある AI が独自の「知能の低い」ウイルスを設計し、それを継続的に調整して、私たちの予防策に反応する新しい、より致命的な変種を作り出す可能性があります。

パンデミックの初期にヤンポルスキー氏はこう語った。「このウイルスのIQはほぼゼロだが、私たちに多大な問題を引き起こしている。AIセキュリティは（部分的には）コンピューターウイルスに相当するが、IQは1,000を超える」

残念ながら、私たちが知っているように、スーパー AI には、単純な力ずくではなく、適応型設計、強化された状況認識、迅速な計算応答など、より効率的な方法で人類の文明を終わらせる方法が不足していません。では、安全で有益かつ倫理的な AI を作成することは可能でしょうか?唯一の選択肢は、超知能に近い AI の開発を世界的に禁止することかもしれない。これは起こりそうにありませんが、確かに必要です。 （ユン・リン）