OpenAIの主任科学者はスーパーAIを制御する方法を見つける計画を立てている

12月15日、OpenAIは設立当初から、たとえ人工知能が開発者よりも賢くなっても、全人類に利益をもたらす人工知能を構築すると約束していた。 ChatGPT のデビュー以来、OpenAI の商業的野心はますます明らかになってきています。同社は最近、将来のスーパー人工知能を研究するための新しい研究チームの設立を発表し、いくつかの成果を上げ始めている。

「AGIは急速に近づいており、非常に優れた能力を持つが、非常に危険な超知能モデルが登場するだろう。そして、それらを制御する方法はまだ見つかっていない」と、7月に設立されたスーパーアライメント研究チームの一員であるオープンAIの研究者、レオポルド・アシェンブレンナー氏は述べた。 OpenAIは、スーパー人工知能の安全性と制御性を確保する方法を探るため、利用可能な計算能力の5分の1を「スーパーアライメント」プロジェクトに充てると発表した。

OpenAIは最近、実験の結果を示す研究論文を発表しました。この実験は、知能を低下させることなく、性能の劣る AI モデルが性能の優れた AI モデルを導く方法をテストするために設計された。関連する技術はまだ人間の器用さを超えてはいないが、この実験は、人間が自分よりも賢い AI システムと協力しなければならない未来に備えるために設計されている。

この実験では、OpenAIの研究者らは、GPT-4のようなシステムを調整してより有用で害の少ないものにするために使用される「監督」と呼ばれるプロセスを調べた。 GPT は ChatGPT の背後にある大きな言語モデルです。現在、これには、どの回答が適切で、どの回答が不適切であるかについて、人間が AI システムにフィードバックを与えることが含まれます。人工知能の進歩により、研究者たちはこのプロセスを自動化して時間を節約する方法を模索しています。また、AI が強力になるにつれて、人間は有用なフィードバックを提供できなくなる可能性があると彼らが考えているためでもあります。

研究者らは、制御された実験で、2019年に初めてリリースされたOpenAIのGPT-2テキストジェネレーターを使用してGPT-4を学習させ、2つの回避策をテストした。 1 つのアプローチは、各ステップでのパフォーマンスの低下を減らすために、徐々に大きなモデルをトレーニングすることです。もう 1 つのアプローチは、GPT-4 にアルゴリズム調整を加えて、より強力なモデルが、パフォーマンスを低下させることなく、より弱いモデルのガイダンスに従えるようにすることです。 2 番目のアプローチの方が効果的であることが判明しました。研究者は、これらの方法がより強力なモデルが完璧に機能することを保証するものではないことを認めていますが、さらなる研究の出発点として役立つ可能性があります。

「OpenAIが、解決に何年もかかるであろう超知能AIの制御という課題に積極的に取り組んでいるのは素晴らしいことだ」と、AIのリスク管理に取り組むサンフランシスコの非営利団体AIセーフティセンターのディレクター、ダン・ヘンドリクス氏は述べた。

アルセンブルンナー氏とスーパーアラインメントチームの他の2人のメンバー、コリン・バーンズ氏とパベル・イズマイロフ氏はインタビューで、潜在的な超知能を制御するための重要な第一歩を踏み出したことに勇気づけられたと語った。イズマイロフ氏は、次のような例え話をした。「6年生は、大学の数学専攻の学生よりも数学の知識が少ないにもかかわらず、自分が何を達成したいかを大学生に伝えることができるのです。まさにそれが、私たちが求めているものです。」

SuperAlignment チームは、OpenAI の主任科学者兼共同創設者である Ilya Sutskever 氏が共同で率いています。サツケファー氏はまた、先月サム・アルトマンCEOの解任に投票した当初の取締役の一人でもある。しかし、彼は後にその決定を撤回し、アルトマン氏が復職しない場合は辞任すると脅した。サツケファー氏は最新論文の共著者だが、OpenAIは同氏にプロジェクトについて話し合う機会を与えることを拒否した。

先月、アルトマン氏はOpenAIと合意に達し、取締役の大半が辞任し、サツケファー氏のOpenAIでの将来は不透明だ。それでも、アッシェンブレンナー氏は「このプロジェクトの原動力となったズツケファー氏には非常に感謝している」と語った。

OpenAI の研究者たちは、人工知能の分野で既存の技術を使って将来の AI システムを制御するための潜在的な方法をテストしようとする最初の研究者ではない。しかし、企業や学術研究室でのこれまでの研究と同様に、適切に設計された実験で機能するアイデアが将来的に実用的になるかどうかはわかりません。研究者たちは、より弱い AI モデルに、より強いモデルをトレーニングさせる予定であり、この能力を「より広範な『スーパーアライメント』問題を解決するための重要な要素」と呼んでいる。

この AI アライメント実験では、制御システムはどの程度信頼できるのか、という重要な疑問も生じます。 OpenAI の新技術の核となるのは、より強力な AI システムが、より弱いシステムからのどの指示を無視するかを自ら決定する能力であり、その選択によって、将来的に安全でない行動を取らないようにする可能性のある重要な情報を無視する可能性がある。このようなシステムを効果的にするには、一貫性を提供するための進歩が必要です。 「最終的には高いレベルの信頼が必要だ」とバーンズ氏は強調した。

より強力なAIモデルを制御するために、それほど強力でないAIモデルを使用するというアイデアは以前から存在していたと、カリフォルニア大学バークレー校でAIの安全性を研究するスチュアート・ラッセル教授は述べた。しかし彼はまた、現在のモデルが確実に機能するようにはまだなっていないため、AI の動作を教えるために使用される方法が機能するかどうかは今のところ不明であると指摘しています。

OpenAIは、より高度な人工知能の制御に向けて第一歩を踏み出しているが、外部からの支援を熱望している。 OpenAIは、元Google CEOのエリック・シュミット氏と協力し、弱い監督から強い監督への移行、高度なモデルの解釈可能性、限界を打ち破るように設計されたプロンプトによるモデルの強化などの分野での進歩を促進するために、外部研究者に1,000万ドルの助成金を提供すると発表した。新しい論文の執筆に協力した研究者らによると、OpenAIは来年「スーパーアライメント」に関する会議も開催する予定だという。

OpenAI の共同創設者であり、Super Alignment チームの共同リーダーとして、彼は同社の最も重要な技術的取り組みの多くを主導してきました。彼はまた、人工知能が強力になるにつれてどのように制御するかという問題にますます関心を寄せている第一人者の一人でもある。将来の AI テクノロジーをどのように制御するかという問題は、主に ChatGPT の影響により、今年新たな注目を集めています。サツケファー氏は、ディープニューラルネットワークの先駆者であるジェフリー・ヒントンの指導の下で博士号を取得しました。後者は今年5月にグーグルを退社し、人工知能がいくつかのタスクにおいて人間のレベルに近づいているようだと人々に警告した。