ホーキング博士：人工知能の台頭は人類文明の終焉をもたらす可能性がある

4月27日、北京国家会議センターで2017年グローバルモバイルインターネットカンファレンス（GMIC）が開催されました。有名な物理学者スティーブン・ホーキング博士は、「人工知能が人類とそれが住む世界に利益をもたらすように」と題する基調講演をビデオで行った。彼は、人工知能の台頭が人類文明の終焉をもたらす可能性があると述べた。

ホーキング博士が「人工知能脅威理論」を提唱したのは今回が初めてではない。今年3月、ホーキング博士は英国インディペンデント紙に対し、新技術（人工知能）が人類にもたらす脅威がさらに増大するのを防ぐために、人類はできるだけ早く脅威を特定する効果的なメカニズムを確立しなければならないと語った。

[[189833]]

ホーキング博士は会合で、人工知能がもたらす脅威は短期的なものと長期的なものに分けられると述べた。短期的な脅威としては、自動運転、インテリジェント自律兵器、プライバシーの問題などが挙げられ、長期的な懸念としては、AI システムが人間の命令に従わない可能性など、AI システムが制御不能になるリスクが主に挙げられます。

彼はまた、生物学的脳とコンピューターの間に本質的な違いはないとも信じている。これは、アルゴリズム的に決定論的なシステムである現在の電子コンピューターは知性を生み出すことができないと信じている英国の物理学者ロジャー・ペンローズの見解とはまったく対照的である。

しかしホーキング氏は、人工知能についてはさまざまな懸念を抱いているものの、人工知能技術そのものについては依然として楽観的であると述べた。彼は、人工知能の恩恵は計り知れず、この強力なツールの助けを借りて、人類は工業化による自然への害を減らすことができるかもしれないと信じています。 「しかし、我々が諜報活動によって無限に助けられるのか、それとも無限に疎外され、あるいは破壊されるのかは分からない」と彼は付け加えた。

ホーキング博士は「これは美しいけれども不確実な世界であり、皆さんはその先駆者です」と述べて演説を締めくくった。

人工知能は最終的に人類を滅ぼすのでしょうか? Penguin Answers トピックに参加するにはここをクリックしてください。

以下はホーキング博士のスピーチの全文（中国語版）です。

私は生涯を通じて、社会の大きな変化を目の当たりにしてきました。最も大きな変化であり、人類にますます大きな影響を与えているのは、人工知能の台頭です。簡単に言えば、強力な AI の台頭は人類史上最高の出来事になるか、最悪の出来事になるかのどちらかになると思います。正直に言うと、それが良いことなのか悪いことなのか、まだよく分かりません。しかし、私たちは、将来の発展が私たち自身と私たちの環境にとって有益なものとなるよう、できる限りのことをすべきです。選択の余地はない。人工知能の発展自体が問題を抱えたトレンドであり、これらの問題は今も将来も解決されなければならないと私は考えています。

人工知能の研究開発は急速に進歩しています。おそらく、私たちは少し立ち止まって、AI の能力向上から AI の社会的利益の最大化へと研究の方向を変えるべきなのでしょう。このような考慮に基づき、米国人工知能協会 (AAAI) は 2008 年から 2009 年にかけて人工知能の長期的な将来に関するフォーラムを設立しました。同協会は最近、目的志向の中立的技術に多大な注目を注いでいます。しかし、AI システムは私たちの意志に従って動作する必要があります。学際的な研究は、経済学、法律、哲学からコンピューター セキュリティ、形式手法、そしてもちろん人工知能自体のさまざまな分野にまで及ぶ、前進するための 1 つの方法です。

文明が生み出したものはすべて、人間の知性の産物です。生物の脳が達成できることとコンピューターが達成できることの間には、本質的な違いはないと私は信じています。したがって、コンピューターは理論的には人間の知能を模倣し、さらにそれを上回ることができるという原理が導かれます。しかし、確かなことは分からないので、私たちが AI によって無限に助けられるのか、軽蔑され疎外されるのか、あるいは AI によって破滅させられる可能性もあるのかは分かりません。実際、私たちは、スマートマシンが現在人間が行っている作業を置き換え、数百万もの雇用を急速に奪ってしまうのではないかと懸念しています。

AI が原始的な形態から進化を続け、極めて有用であることが証明されるにつれ、人間と同等かそれ以上の何かを作り出すことの帰結について私は懸念しています。AI が制約から解放されると、AI はかつてないほどの速度で自らを再設計するでしょう。長い生物学的進化の限界により、人間は彼らと競争することができず、取って代わられることになるでしょう。これは我が国の経済に大きな損害を与えることになるでしょう。将来、人工知能は人間の意志と対立する独自の意志を発達させる可能性があります。人類について私が引き続き楽観的であるにもかかわらず、人間はテクノロジーの発展を十分長い間コントロールすることができ、人工知能が世界のほとんどの問題を解決できる可能性があると信じている人もいます。でもよく分かりません。

2015 年 1 月、私とテクノロジー起業家のイーロン マスク氏、そして多くの AI 専門家は、AI が社会に与える影響について真剣な研究を行うよう求める公開書簡に署名しました。イーロン・マスク氏は以前、超人的な人工知能は計り知れない利益をもたらす可能性があるが、適切に導入されなければ人類に逆効果をもたらす可能性があると警告したことがある。彼と私は、人類が直面している実存的リスクを軽減することに専念する組織であるフューチャー・オブ・ライフ研究所の科学諮問委員会に所属しており、上記の公開書簡もこの組織によって起草されたものです。この公開書簡は、人工知能の潜在的な利点を享受しながら潜在的な問題を予防できる直接的な研究を求めており、人工知能の開発者が人工知能の安全性にさらに注意を払うように努めています。さらに、意思決定者や一般の人々にとって、この公開書簡は情報提供のものであり、警鐘を鳴らすものではありません。 AI 研究者がこれらの懸念や倫理的問題について真剣に考えていることを誰もが知ることが重要だと私たちは考えています。たとえば、人工知能は病気や貧困を根絶する可能性を秘めていますが、研究者は制御可能な AI を作成できなければなりません。わずか4段落で構成され、「強力かつ有益な人工知能の研究を優先すべき」と題されたこの公開書簡は、添付の12ページの文書で研究の優先事項を詳述している。

過去 20 年間、人工知能は、特定の環境を認識して行動できるシステムであるインテリジェント エージェントの構築に関する問題に重点を置いてきました。この文脈における知能とは、統計学や経済学に関連した合理的な概念です。簡単に言えば、それは適切な決断、計画、推論を行う能力です。これらの研究に基づいて、人工知能、機械学習、統計、サイバネティクス、神経科学などの分野で多くの統合と相互作用が適用されてきました。共通の理論的枠組みの確立と、データの供給および処理能力の組み合わせにより、さまざまなニッチ分野で目覚ましい成功を収めています。たとえば、音声認識、画像分類、自動運転、機械翻訳、歩行動作、質問応答システムなどです。

これらの分野が発展するにつれて、実験室での研究から経済的に価値のある技術への好循環が形成されます。たとえ小さなパフォーマンスの改善でも、莫大な経済的利益をもたらす可能性があり、それによって長期的かつ大規模な投資と研究が促進されます。人工知能の研究は着実に発展しており、社会への影響は拡大する可能性が高いことは、現在広く認められています。文明が生み出したものはすべて人間の知能の産物であるため、潜在的な利益は莫大です。この知能が人工知能ツールによって増幅されたときに何を達成できるかは予測できません。しかし、先ほど申し上げたように、病気や貧困を根絶することは完全に不可能というわけではなく、AI には大きな可能性があるので、AI からどのように利益を得てリスクを回避するかを研究することが非常に重要です。

現在、人工知能の研究は急速に発展しています。この研究は短期的および長期的な観点から議論することができます。短期的な懸念としては、民間ドローンから自動運転車まで、自動運転に関するものがある。例えば、緊急時には、自動運転車はリスクが小さい大きな事故か、確率が高い小さな事故のどちらかを選択する必要があります。もう一つの懸念は、致死的なインテリジェント自律型兵器です。これらは禁止されるべきでしょうか？もしそうなら、「自律性」は具体的にどのように定義されるべきでしょうか？そうでない場合、不適切な使用や故障による責任はどのように問われるのでしょうか?プライバシーに関する懸念や、大量の監視データを解釈する AI の能力に関する懸念、AI が仕事を奪うことによる経済的影響をどう管理するかといった懸念もあります。

長期的な懸念は、人間の意志に従わない超知能の台頭により、AI システムが制御不能になり、人類に脅威をもたらす潜在的なリスクに集中しています。このような不一致の結果はあり得るのでしょうか? もしあり得るとしたら、こうしたシナリオはどのようにして生まれるのでしょうか? 危険な超知能の台頭、あるいは知能爆発の出現の可能性をより深く理解し、対処するために、私たちはどのような研究に投資すべきでしょうか?

強化学習などの AI 技術を制御するための現在のツールは、シンプルで実用的ではありますが、この問題を解決するには不十分です。したがって、この問題を制御するための信頼できる解決策を見つけて確認するには、さらなる研究が必要です。

前述の自動運転車や囲碁で AI が勝利するといった最近の画期的な出来事は、将来のトレンドの兆しです。この技術には巨額の投資が投入されました。私たちの現在の成果は、今後数十年で達成する成果と比べると、必然的に見劣りするでしょう。そして、私たちの心が人工知能によって増幅されたときに何を達成できるかを予測することは、まだ不可能です。おそらく、この新たな技術革命の助けを借りて、私たちは産業化が自然に与えた被害の一部に対処できるだろう。私たちの生活のあらゆる側面が変わろうとしています。つまり、人工知能の成功は人類文明史上最大の出来事となる可能性を秘めているのです。

しかし、私たちが危険を回避する方法を学ばなければ、AIは文明の終焉をもたらす可能性もあります。人工知能の完全な発達は、インテリジェント自律兵器の最大限の使用など、人類の絶滅につながる可能性があると私は以前にも述べました。今年初め、私は核兵器禁止を支持する世界中の科学者のグループに加わり、国連会議に参加しました。私たちは交渉の結果を心配しながら待っています。現在、9つの核保有国は約14,000発の核兵器を保有しており、そのいずれも都市を壊滅させ、放射性廃棄物は大規模に農地を汚染するだろう。最も恐ろしい被害は核の冬を誘発し、その火と煙が世界中に小氷河期をもたらすだろう。その結果、世界の食糧システムが崩壊し、終末的な混乱が起こり、ほとんどの人々が死亡する可能性が高くなります。私たち科学者は核兵器に関して特別な責任を負っています。なぜなら、核兵器を発明し、その影響が当初予想されていたよりも恐ろしいことを発見したのは私たちだからです。

現時点では、災害についての私の議論はここにいる全員を怖がらせるかもしれません。大変申し訳ございません。しかし、今日の参加者である皆さんにとって、現在のテクノロジーの将来の発展に影響を与える自分の立場を認識することが重要です。制御不能な AI の台頭を防ぐために全力を尽くしている政府、テクノロジーリーダー、科学者らに国際条約への支持を呼びかけたり、公開書簡に署名したりすることで、私たちは団結していると信じています。

昨年 10 月、私は英国ケンブリッジに新しい研究所を設立し、人工知能研究の急速な発展によって生じた未解決の疑問のいくつかに取り組もうとしています。レバーヒューム知能の未来センターは、私たちの文明と種の未来にとって極めて重要な知能の未来を研究する学際的な研究所です。私たちは歴史を研究し、深く調べることに多くの時間を費やしています。そのほとんどは愚かな歴史です。したがって、人々が知能の将来に関する研究に目を向けるようになったのは、歓迎すべき変化です。潜在的な危険性は認識していますが、私は楽観的な見方をしており、知能を生み出すことで得られる潜在的な利益は莫大であると信じています。おそらく、この新たな技術革命のツールによって、私たちは産業化が自然界に与えたダメージを軽減することができるでしょう。

私たちの生活のあらゆる面が変化するでしょう。同研究所の同僚であるヒュー・プリンス氏は、レヴァーホルム・センターの設立は大学の存在リスク・センターの設立によって部分的に可能になったと認めています。後者は人間の潜在的な問題をより広い視野で捉えていますが、レヴァーホルム・センターはより狭い範囲に焦点を当てています。

人工知能の最新の動向としては、ロボット工学と人工知能のイノベーションを規制するための一連の規制を起草するよう欧州議会が呼びかけたことが挙げられる。いささか意外なことに、これには、最も有能で先進的な AI の権利と責任を確保するための、ある種の電子的人格が含まれます。欧州議会の報道官は、日常生活の多くの分野がロボットの影響を受けるようになるにつれて、ロボットが現在も将来も人類に役立つようにする必要があるとコメントした。欧州議会議員に提出されたこの報告書は、世界が新たな産業用ロボット革命の瀬戸際に立っていることを明確に示している。この報告書は、ロボットに法人と同等の電子人間の権利を与えることが可能かどうかについて分析している。報告書は、研究者や設計者は、あらゆるロボットの設計にキルスイッチが必ず含まれるようにすべきだと強調している。キューブリックの映画「2001年宇宙の旅」では、故障したスーパーコンピューターHALのせいで科学者が宇宙カプセルに入ることができないが、それはSFの話だ。私たちは事実を直視しなければなりません。 「我々はクジラやゴリラの人格を認めていない。だからロボットの人格を急いで受け入れる必要はない」と多国籍法律事務所オズボーン・クラークのパートナー、ローナ・ブラジル氏は報告書の中で述べた。しかし、懸念は残る。報告書は、数十年以内に人工知能が人間の知能の範囲を超え、人間と機械の関係に疑問が生じる可能性があることを認めている。報告書は、技術、倫理、規制に関する専門知識を提供するための欧州ロボット工学・人工知能機関の設立を呼び掛けて締めくくっている。欧州議会議員が法案に賛成票を投じれば、報告書は欧州委員会に提出される。どのような立法措置を取るべきかについては3か月以内に決定する。

また、次世代が早い段階で科学研究に全面的に取り組む機会だけでなく決意も得られるようにし、彼らが自らの可能性を実現し、人類がより良い世界を創ることに貢献できるようにするという役割も私たちにはあります。先ほど私が学習と教育の重要性について話した際に意味したのはこれです。私たちは、「物事はどうあるべきか」という理論的な議論を超えて、彼らが参加する機会を確保するための行動を起こす必要があります。私たちは素晴らしい新世界への入り口に立っています。これは刺激的で不確実な世界であり、あなた方はその先駆者です。あなたを祝福します。

ありがとう