OpenAI主任科学者：ChatGPTはすでに意識を示しており、将来人間はAIと融合するだろう

昨夜、「ChatGPTはすでに意識を持っているかもしれない」という話題がWeiboで人気検索となった。

OpenAIの共同創設者兼主任科学者であるイリヤ・スツケバー氏はインタビューで、現在の最優先事項はもはや次世代のGPTやDALL·Eを作成することではなく、スーパーAIが制御不能になるのを防ぐ方法を研究することだと語った。

ChatGPTは、スーパーAIが将来的に潜在的なリスクになることを認識した可能性があると彼は考えています。

記事アドレス: https://www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/

そして将来、人間は機械と一体化するでしょう。

OpenAIでの彼の今後の仕事の焦点は、より強力なAIシステムを開発することではなく、「スーパーアライメント」チームを率いて人間とAIが共存する世界を守ることとなる。

これは、ある意味では、AI が人類に役立つようにするという OpenAI 設立当初の意図への回帰です。

OpenAIの英雄、イリヤ・スツケヴァー

サンフランシスコのミッション地区の目立たない通りにある同社の目立たないオフィスビルで、OpenAIの共同設立者兼主任科学者であるサツケバー氏がインタビューを行った。

彼は、世界を揺るがすテクノロジーの今後について、また、OpenAI の次世代生成モデルの構築がもはや彼の仕事の焦点では​​なくなった理由について、多くを語りました。

サツケバー氏は、自分の焦点はもはや次世代の GPT や DALL-E の構築ではなく、人工知能 (現在の AI ではなく、人間の知能を完全に超える仮想の将来の技術であると考えている) が制御不能になるのを防ぐ方法を見つけることにあると述べた。

彼の考えでは、いつの日か多くの人間が機械と融合することを選択するだろう。

スツケヴァー氏の発言の多くは狂気じみていたが、過去2年間の発言よりはるかに「合理的」に聞こえた。

なぜなら、ChatGPT は多くの人々のテクノロジーに対する期待を変え、普通の人々が「決して起こらない」と思っていた多くのことを「思ったよりも早く起こる」ことに変えたと彼は感じているからです。

「重要なのは、それが今ここにあるということだ」と彼は言い、汎用人工知能（人間と同じくらい賢い機械という意味）の発展を予測した。「いつかはAGIが実現するだろう。OpenAIが構築するかもしれないし、他の企業が構築するかもしれない」

OpenAIのCEO、サム・アルトマン氏は、夏の大半を世界中を旅して過ごし、政治家と熱心に交流したり、世界中の満員の講堂でスピーチをしたりした。

しかし、スツケヴァー氏は公人ではなく、インタビューもあまり受けていない。

彼は落ち着いて、整然と話した。彼は、何を言いたいのか、どのように言うのかを考えながら長い間立ち止まり、パズルを解くように何度も問題を解いていました。

彼は自分自身について話すことに興味がないようだった。 「私はとてもシンプルな生活を送っています」と彼は言った。 「仕事に行って家に帰ります。それ以外はあまり何もしません。社交的な人もたくさんいますが、私はそうではありません。」

しかし、人工知能とその技術の背後にある画期的なリスクとメリットについて語ると、彼は非常に饒舌になる。「これは記念碑的で、世界を揺るがすものとなるだろう。その出現はすべてを変えるだろう。」

若きAI研究者が世界を変える

サツケヴァー氏はチューリング賞受賞者ヒントン氏の弟子である。2000年に同氏がヒントン氏の弟子になったとき、ほとんどのAI研究者はニューラルネットワークは行き詰まっていると考えていた。

しかしヒントン氏はそうは考えていない。彼はすでに、1文字ずつ短いテキスト文字列を生成できる小さなモデルのトレーニングを開始していました。

「これは生成型 AI の始まりです」と Sutskever 氏は言う。「本当に素晴らしいのですが、まだあまり上手くありません。」

ヒントン氏と同様に、彼もニューラルネットワークとディープラーニングの可能性を認識していました。

2012年、サツケヴァー、ヒントン、そしてヒントンの大学院生のアレックス・クリジェフスキーは、AlexNetと呼ばれるニューラルネットワークを構築し、当時のどのソフトウェアよりもはるかに優れた写真内の物体認識能力を持つようにトレーニングしました。これがディープラーニングのビッグバンの瞬間となりました。

Nvidia の Huang 氏は、トロント チームが AlexNet に取り組んでいたとき、Nvidia はトロント チームにいくつかの GPU を提供したと述べました。

しかし、彼らが欲しかったのは最新バージョンの GTX 580 チップでしたが、在庫切れで購入するのはほぼ不可能でした。

黄氏によると、Sutskever 氏はトロントからニューヨークまで運転し、実際に GTX580 を満載した車を購入したとのことです。

「彼がどうやってやったのかはわかりませんが、1人1台しか買えなかったはずです。ゲーマー1人につきGPUは1台だけという非常に厳しい販売方針でしたが、どうやら彼はトランクをいっぱいにしてしまったようです。

しかし、GTX 580 が満載のこのトランクは世界を変えます。 「

AlexNet の成功後、Google がやって来ました。同社はヒントン氏の会社DNNリサーチを買収し、サツケヴァー氏をグーグルに招き入れた。

Google では、Sutskever 氏はディープラーニングのパターン認識機能が単語、文章、画像などのデータのシーケンスに適用できることを実証しました。

「スツケヴァー氏は常に言語に興味を持っていました」と、元同僚で現在はグーグルの主任科学者であるジェフ・ディーン氏は言う。「私たちは長年にわたり多くの議論を重ねてきました。彼はテクノロジーの進歩について強い直感を持っています。」

しかし、スツケヴァー氏はグーグルに長く留まらなかった。 2014年に彼はOpenAIの共同設立者として採用されました。

10億ドルの資金を得た新会社は、当初からAGIの開発を目標に掲げていたが、当時、この目標がすぐに達成できると本気で考えていた人はほとんどいなかった。

しかし、スツケヴァー氏が参加した後は、そのような目標を設定することは合理的に思えた。

Yコンビネーターの投資担当マネージングディレクター、ダルトン・コールドウェル氏は、スツケヴァー氏は昔から有名だったと語った。

「サム・アルトマンがスツケヴァー氏を世界で最も尊敬される研究者の一人と呼んでいたのを覚えている」とコールドウェル氏は語った。 「彼は、Sutskever が多くの優秀な AI 人材を引き付けることができると信じています。

彼は、ヨシュア・ベンジオ氏が、オープンAIの主任科学者としてサツケヴァー氏よりも優れた候補者を見つけるのは難しいだろうと考えていたとも述べた。 「

OpenAI の最初の大規模言語モデルは 2016 年に登場しました。その後、GPT-2 と GPT-3 が打ち上げられ、その後 DALL-E が打ち上げられました。

これほど素晴らしいものを作った人は誰もいません。 OpenAI は、新しい製品をリリースするたびに、AI で実現できることの基準を引き上げています。

Ilya: 当初は ChatGPT を使用する人はほとんどいないだろうと思っていました。

昨年11月、OpenAIは既存の技術を再パッケージ化し、業界全体を直接混乱させたChatGPTをリリースした。

しかし、当時、OpenAI はこれらすべてを認識していませんでした。

Sutskever 氏は、社内の期待はすでに最低レベルだったと語った。「正直に言うと、これは私にとって少し恥ずかしいことです。こう言うべきかどうかわかりませんが、とにかく、これは真実です。ChatGPT を作っていたとき、私はそれが良いものになるとは思っていませんでした。

事実に関する質問をすると、間違った答えが返ってきます。誰もこれを使用しないと思います。人々は「なぜこんなことをするんだ、退屈だ」と言うでしょう。 「

Sutskever 氏は、ChatGPT の最も魅力的な点は利便性であると述べました。その時点で、ChatGPT の背後にある大規模な言語モデルはすでに数か月前から存在していました。

しかし、簡単にアクセスできるインターフェースにパッケージ化し、誰でも無料で使用できるようにすることで、数十億の人々が OpenAI とその構築物について初めて知ることになったのです。

「最初の経験は本当に魅力的でした」とスツケヴァー氏は語った。 「初めて使ったときは、まるで超能力のような体験だと思います。『なんてことだ、このコンピューターは私が言っていることを理解しているようだ』と思うのです。」

OpenAI は 2 か月足らずで 1 億人のユーザーを獲得し、その多くがこの驚くべき新しいおもちゃに魅了されました。

ストレージ会社BoxのCEO、アーロン・レヴィ氏は、ChatGPTのリリースから1週間後、Twitterで業界の雰囲気を次のようにまとめた。

「ChatGPT は、将来すべてが破壊されるという希望の光を見ることができる、テクノロジーにおける稀な瞬間の 1 つです。」

「AGI はもはや機械学習の汚い言葉ではありません」と彼は言う。「これは大きな変化です。以前の人々の考え方は、AI は役に立たず、あらゆるステップが非常に困難で、道のりは非常に曲がりくねっているというものでした。」

人々が AGI を大々的に宣伝すると、AI 研究者は「問題が多すぎて解決できないものも多い」と言います。しかし、ChatGPT を使用すると、感覚が変わります。 「

この変化はたった1年前に始まったのですか? 「このすべてはChatGPTのせいで起こったのです」と彼は語った。 「ChatGPT により、機械学習研究者は夢を実現できます。」

そして、OpenAI の科学者たちは当初から伝道者であり、ブログ投稿や講演ツアーを通じてこれらの夢を支えてきました。

「今、人々はついに AI がどこまで進化するかについて、AGI、つまり超知能について語り始めています。」そして、それは研究者だけの話ではありません。 「政府はこの問題について議論している」とスツケヴァー氏は語った。 「これはおかしい。」

ニューラルネットワークは意識を生み出すことができる

スツケヴァー氏は、まだ存在しない（そして今後も存在しないかもしれない）テクノロジーについて語られることは、かつては当然だと思っていた未来についてより多くの人々に気づかせることになるので良いことだと主張している。

「AGIを使えば、医療を自動化し、医療費を1000倍安くし、1000倍良くし、多くの病気を治し、地球温暖化の問題を実際に解決するなど、驚くべきこと、信じられないことがたくさんあります」と彼は語った。 「しかし、多くの懸念もあります。『なんてことだ、AI企業はこの巨大な技術をうまく管理できるのだろうか？』」

このように見ると、AGI は現実世界で起こるものというよりは、願いを叶えてくれる精霊のようなものに聞こえます。好きなように作ることができます。

Sutskever 氏が AGI について語るとき、彼は一体何について語っているのでしょうか? 「AGIは科学用語ではない」と彼は言った。 「それは便利な閾値、基準点です。」

彼の意見では、「AI が人間と同じことができるなら、それが AGI です。」

多くの研究者は AGI が実現するとは信じていないが、そのビジョンは Sutskever 氏にインスピレーションを与えた。

彼はニューラルネットワークを脳の働きに例えました。どちらもデータを取得し、そのデータから信号を集約し、いくつかの単純なプロセス (ニューラル ネットワーク内の数学、脳内の化学物質、生体電気) に基づいて、それらの信号を伝播するかどうかを決定します。

この比喩は多くの詳細を簡略化していますが、これが核心です。

「もしそれを信じるなら、もしそれを信じることを自分に許すなら、興味深いスピンオフがたくさんある」とスツケヴァー氏は言う。

「非常に大規模な人工ニューラル ネットワークがあれば、さまざまなことができるはずです。人間の脳が何かを実行できるのであれば、大規模な人工ニューラル ネットワークでも同様のことが可能です。」

「それを真剣に認識すれば、すべてうまくいくだろう」と彼は語った。 「私の作品のほとんどはこの一文で説明できます。」

2022年2月、スツケヴァー氏は「今日の大規模なニューラルネットワークは、わずかな意識を持っている可能性がある」と投稿した。

（グーグル・ディープマインドの主任科学者であり、インペリアル・カレッジ・ロンドンの教授、映画「エクス・マキナ」の科学コンサルタントでもあるマレー・シャナハン氏は、以下のように返答している。「この広大な麦畑には、蘭州ラーメンの匂いがかすかに漂っていると言っているように聞こえます」）。

まだ存在しない問題を解決する「超汎用人工知能」

他の人たちが人間の知能に匹敵する機械を作る方法を考え出そうと奮闘している間、スツケヴァー氏は人間の能力を超える機械の開発を準備していた。

彼はこの現象を「超知能」と呼んでいる。「彼らは物事をより深く見るようになる。私たちには見えないものが見えるようになる。」

人間よりも賢い知能とはどういう意味ですか?

「アルファ碁には超知能の影が見える」と彼は語った。

2016年、DeepMindのチェスAIは世界最高の囲碁プレイヤーの一人であるイ・セドルを4対1で破った。

「ロボットは人間とは異なる方法で囲碁を打つ方法を理解した」とスツケヴァー氏は言う。 「まったく新しいアイデアが生まれます。」

スツケバー氏は、AlphaGo の最も有名な手である 37 手目について言及しました。イ・セドルとの2試合目では、AIが解説者を困惑させる動きを見せた。

彼らは、AlphaGo が愚かな動きをしたと考えている。しかし、実際には、チェスの歴史上かつて見られなかった勝利の動きが生まれました。

「このレベルの洞察が社会のあらゆる分野に現れたら何が起こるか想像してみてください」とスツケヴァー氏は言う。

この考えが、スツケヴァー氏にキャリア最大の転換をもたらした。

彼は、OpenAIの同僚科学者Jan Leikeとともに、「スーパーアライメント」と呼ばれるものに焦点を当てたチームを結成した。

アライメントとは、AI モデルに希望どおりに動作させることだけを意味します。

「スーパーアライメント」はOpenAI自身が提案した概念であり、スーパーインテリジェンスを制御して人間の望むことを実行させることを意味します。

OpenAI の目標は、この将来のテクノロジーを構築および制御するための一連のフェイルセーフ手順を考案することです。 OpenAIは、この問題に自社の計算資源の5分の1を割り当て、4年以内に解決したいと述べた。

「既存のアライメント方法は、人間よりも賢いモデルには機能しません。なぜなら、根本的に人間が AI システムの行動を信頼性を持って評価できると想定しているからです」とヤン・ライケ氏は言う。「AI システムがさらに強力になるにつれ、より困難なタスクを引き受けるようになるでしょう。」

これにより、人間が評価することがより困難になります。

「イリヤとともにスーパーアライメントチームを構築する中で、私たちはすでに将来のアライメントの課題を解決するための取り組みを始めています」と彼は語った。

「大規模言語モデルの潜在的な可能性だけでなく、そのリスクや欠点にも注目することが非常に重要だ」とグーグルの主任科学者ディーン氏は語った。

Sutskever 氏にとって、「スーパーアライメント」は遅かれ早かれ実行しなければならないことです。 「それは未解決の問題だ」と彼は言った。

彼は、自分のような熱心な機械学習研究者がこの課題の解決に取り組んでいると信じています。 「私は自分の利益のためにこれをやっている」と彼は語った。「誰かが作ったどんな超知能も制御不能にならないことが明らかに重要だ」

スーパーアライメントの作業はまだ始まったばかりです。スツケヴァー氏は、これには研究コミュニティにおける広範な変化が必要になると述べている。しかし、彼が設計したい安全策の理想的な基準を念頭に置いていた。それは、親が子供を扱うように人間を扱うシステムだった。

「私の意見では、これがゴールドスタンダードだ」と彼は語った。 「人々は本当に自分の子供のことを気にかけています。誰もそれを否定できないでしょう。」

「不正な AI の課題を克服したら、その後はどうなるでしょうか? より賢い AI が存在する世界に人類が存在できる余地はあるのでしょうか?」

「一つの可能​​性は、今日の基準ではクレイジーに思えるかもしれないが、明日の基準ではそれほどクレイジーではないだろうが、多くの人が AI の一部となることを選択するということだ」とサツケヴァー氏は言う。「最初は、最も勇敢で冒険心のある人だけがこれをやろうとするだろう。他の人がそれに続くかもしれないし、そうでないかもしれない。」