OpenAI、「超知能」AIを制御するための新チームを発表

米国現地時間7月6日水曜日、人工知能の新興企業OpenAIは、「超知能」人工知能システムを誘導・制御する方法を開発するために新たなチームを結成すると発表した。このチームは、OpenAIの主任科学者兼共同創設者であるイリヤ・スツケバー氏が率いる。

ブログ投稿で、サスケヘイラー氏とOpenAIの調整チームの責任者であるヤン・ライケ氏は、超人的な知能を持つAIが10年以内に出現すると予測した。彼らは、この種のAIは必ずしも人間に対して善意があるとは限らないため、それを制御および制限する方法を研究する必要があると警告している。

「現在、潜在的に超知能のAIを操作または制御し、制御不能になるのを防ぐための解決策はありません」とサスクヴィル氏とレイク氏は書いている。「人間のフィードバックによる強化学習など、AIを調整するための現在の技術は、人間のAI監視能力に依存しています。しかし、人間は、自分よりもはるかに賢いAIシステムを確実に監視することはできないでしょう。」

OpenAIは「スーパーインテリジェンスアライメント」の分野で進歩を遂げるために、サスクヴィル氏とレイク氏が共同で率いる新しいスーパーアライメントチームを結成しており、このチームはOpenAIのコンピューティングリソースの最大20％にアクセスできることになる。このチームは、OpenAI の元アライメント部門の科学者やエンジニア、社内の他部門の研究者と協力し、今後 4 年間にわたり、超知能 AI を制御するという中核的な技術的課題に取り組みます。

では、人間よりもはるかに賢い AI システムが人間の意図に従うことをどのように保証すればよいのでしょうか。これには、サスクヴィル氏とレイク氏が「人間レベルの自動調整研究者」と呼ぶ人々の助けが必要になります。大まかな目標は、人間のフィードバックを使用して AI システムをトレーニングし、他の AI システムの評価を支援する AI をトレーニングし、最終的にはアライメント研究を実行できる AI を構築することです。ここでの「研究の調整」とは、AI システムが期待される結果を達成するか、研究の軌道から外れないようにすることを指します。

OpenAI の仮説は、AI は人間よりも速く、より優れたアライメント研究を実行できるというものです。

「ここで進歩が進むにつれて、AI システムがより多くのアライメント作業を引き継ぎ、最終的には現在よりも優れたアライメント手法を考案、実装、研究、開発できるようになるだろう」と、レイク氏と彼の同僚であるジョン・シュルマン氏、ジェフリー・ウー氏は以前のブログ投稿で主張した。 「彼らは人間と協力して、自分たちの後継者が人間と連携し続けるようにするでしょう。人間の研究者は、そうした研究を自ら行うのではなく、AI システムによって完了した連携研究のレビューにますます力を注ぐようになるでしょう。」

もちろん、どんな方法も完璧ではありません。レイク、シュルマン、ウーは論文の中で、OpenAI のアプローチには多くの限界があることを認めています。評価にAIを使用すると、AIの矛盾、偏見、脆弱性が拡大する可能性があると彼らは言う。アライメントの問題の最も難しい部分は、エンジニアリングとはまったく関係がないことが判明するかもしれません。

しかし、サスクヴィル氏とレイク氏は試してみる価値があると考えました。 「スーパーインテリジェンスのアラインメントは基本的に機械学習の問題であり、優秀な機械学習の専門家（まだアラインメントに取り組み始めていないとしても）がそれを解決する上で重要になると考えています」と彼らは書いている。「私たちはこの取り組みの結果を広く共有し、非OpenAIモデルの一貫性と安全性を促進することを私たちの仕事の重要な部分にするつもりです。」