強化学習の父がAGIスタートアップ業界に参入！伝説のプログラマー、カーマックと力を合わせ、彼らは大規模なモデルに頼らないことを誓った

伝説のプログラマー、ジョン・カーマックと強化学習の父、リチャード・サットンが力を合わせ、 All in AGI を実現しました。

2030 年までに汎用人工知能を一般に公開するという目標は実現可能です。

また、主流の方法とは異なり、大規模なモデルパラダイムに依存せず、リアルタイムのオンライン学習を追求します。

2人は、サットン氏が教鞭をとるアルバータ大学機械知能研究所（Amii）の特別イベントでこの発表を行った。

サットン氏はアルバータ州での教職を維持しながら、カーマック氏のAIスタートアップ企業キーン・テクノロジーズに加わる予定。

両氏はイベントで、Keen Technologies のチームは数百人または数千人の従業員を抱える大企業に比べると小規模であることを認めた。

まだ初期段階であり、同社の技術チーム全員が現場にいます——

立っているのはたった4人です。

その資金調達規模はわずか2,000万ドルであり、数十億ドルを調達したOpenAIやAnthropicとは比較にならない。

しかし、彼らは、最終的には AGI のソースコードは 1 人で書けるレベルになり、数万行程度になる可能性があると考えています。

さらに、AI分野は現在、レバレッジ効果が最も大きい特別な時期にあり、小規模なチームにも大きな貢献を果たすチャンスがあります。

伝説のプログラマーであり強化学習の父

世界初の3Dゲームの開発からロケット製造への転換、そしてOculusへの入社とMeta VRの重要人物になるまでのカーマックの伝説的な経験はすでによく知られています。

その後、彼は AI と OpenAI に関わるようになりました。

彼は別のインタビューで、サム・アルトマン氏がシステム最適化において重要な役割を担えると考え、彼をOpenAIに招待したことを明らかにした。

しかしカーマック氏は、機械学習パラダイムにおける現代のAIを理解していないと考え、同意しなかった。

これが彼にとってAIを理解し始めるきっかけとなった。

彼はOpenAIの主任科学者イリヤ・スツケバー氏に初心者が必ず読むべき記事のリストを依頼し、独学でゼロから学び、まず従来の機械学習アルゴリズムの基礎を理解した。

自由時間ができ、ディープラーニングに引き続き取り組んでみようと計画していた彼は、 1 週間のプログラミング チャレンジに挑戦しました。

LeCun の古典的な論文をいくつか印刷し、インターネットに接続せずに練習し、バックプロパゲーションの式を導出することから始めます。

1 週間後、彼は Python の最新のディープラーニング フレームワークの助けを借りずに C++ で手作りした畳み込みニューラル ネットワークでリトリートを終了しました。

私は偉大な神を尊敬しているとしか言えません。

当時、彼の主な仕事は、Facebookの子会社であるOculus （後にMetaに改名）でのVRの研究であり、チームを率いてOculus GoやQuestなどの製品の発売に貢献しました。

しかし、この過程で、彼と会社の経営陣の間に徐々に対立や意見の相違が生じ、彼は会社が非効率であると考え、公に不満を表明しました。

2019年にOculusのCTOを辞任し、「コンサルタントCTO」となり、AIにさらに注力し始めた。

2022年8月、彼は新しいAIスタートアップ企業であるKeen Technologiesが、セコイア・キャピタル、元GitHub CEOのナット・フリードマンなどを含む投資家から2,000万ドルの資金を調達したと発表した。

その後、彼は実際に調達できたのはわずか2,000万ドルだったことも明かした。

しかし、他人からお金を受け取ることで、彼は危機感と緊急感を覚え、物事を成し遂げようとする強い決意を持つようになります。

2022年末、彼は正式にMetaを離れ、VRを人生の過去の段階とみなし、完全にAIに転向しました。

この明らかな主旨に加えて、カーマックには AI との不可解なつながりもあります。

彼の 3D ゲームはグラフィックス コンピューティングの需要を刺激し、GPU もゲーム分野で成長し、発展し始めました。

今日の AI の爆発的な発展を支えているのは GPU の計算能力であり、彼はそのことについて語るとき、今でも自分の貢献を誇りに思っていると語る。

…

今日のもう一人の主人公、サットンも伝説の人物です。

彼は強化学習の父として知られ、強化時間差分学習や方策勾配などの手法に重要な貢献をしており、強化学習の標準的な教科書の共著者でもあります。

2017年、彼は著名な科学者としてDeepMindに入社し、AlphaGoシリーズの研究に参加しました。彼の弟子であるDavid Silverは、AlphaGoの主要責任者の一人でした。

サットンは有名なエッセイ「苦い教訓」を執筆し、人間の経験をAIに教えようとするのは実現不可能だと主張した。これまでのすべてのブレークスルーは計算能力の向上に依存しており、計算能力のスケール効果を活用し続けることが正しい道である。

二人が正式に連絡を取る前に、カーマック氏はその記事に対する懸念と賛同を表明していた。

しかし、二人の間の唯一の直接のコミュニケーションはサットンによって始められたものだった。

数か月前、カーマック氏はAGIスタートアップへの資金提供を発表した後、サットン氏からメールを受け取った。

サットン氏は、研究において純粋に学術的な道、商業的な道、あるいは非営利的な道のどれを取るべきかを彼に尋ねたかった。

しかし、その後のメールのやり取りの中で、両者はAI研究の方向性やコンセプトに意外なほど一貫性があることに気づき、徐々に協力関係を築いていった。

具体的には、両者は以下の4つの合意に達しました。

• 彼らは皆、現在の AGI の開発はいくつかの狭い方向に限られており、イノベーションを無視してビッグデータとコンピューティング能力に過度に依存していると考えています。
• 両者とも、早期の商業化はAGIの開発を妨げると考えている。
• AGI は最終的にはそれほど複雑にはならず、1 人の人間がすべての原理を習得し、メインコードを書くこともできるだろうと誰もが信じています。
• 両者とも、2030 年までに AGI プロトタイプが登場することは実現可能な目標であると考えています。

大きなモデルだけに頼るのではなく、小さなチームにもチャンスがある

それは非常に大胆な目標であり、観客もそう思った。

「小規模なチームがどのようにしてこのような壮大な目標を達成できるのか？」と尋ねられると、カーマック氏は、AGI を実現するために必要なデータ量と計算能力は想像ほど大きくないかもしれないと考えています。

人間が一年間に見るものを、親指サイズの USB フラッシュ ドライブに保存できる 30 フレーム/秒のビデオとして記録できます。

1 歳児は経験データがこれだけしかありませんが、すでに明らかな知能を示しています。

アルゴリズムが正しければ、AGI の学習にインターネット全体のデータを使用する必要はありません。

彼はまた、この直感的な考え方を使って計算能力の要件を検討します。人間の脳の計算能力も限られており、大規模な計算クラスターのレベルには程遠いのです。

これはサーバーノードよりも大きく、ラックよりも大きいですが、最大でも 1 桁大きい程度です。

そして、時間が経つにつれて、アルゴリズムはより効率的になり、必要な計算能力は減少し続けます。

カーマック氏の 3D ゲーム、ロケット工学、VR といった一見異なる仕事に共通するものがあるとすれば、それは大規模なリアルタイム フィードバック システムの最適化です。

これは、サム・アルトマン氏が OpenAI に参加するよう彼を招待したときに見たものでもあります。

彼が思い描く AGI アーキテクチャは、巨大な集中型モデルではなく、モジュール式かつ分散型であるべきだ。

学習も、ほとんどのパラメータが更新されなくなった現在の事前トレーニングではなく、継続的なオンライン学習である必要があります。

結論としては、システムが 30 Hz で実行できない場合、つまりトレーニング中に約 33 ミリ秒ごとに更新できない場合は、そのシステムを使用しないということです。

さらに彼は、独自の Cuda コードを書き、ネットワーク通信を自分で管理できる低レベルのシステム プログラマーとして、他の人が考えもしないような作業を実行できる可能性があると述べました。

既存のディープラーニングフレームワークに限定されることなく、より効率的なネットワークアーキテクチャとコンピューティング手法を試みます。

全体的な目標は、仮想環境で継続的に学習するための内発的動機と継続的な学習能力を備えた仮想エージェントをシミュレートすることです。

ロボットは使用しない。ロケット製造の経験から、扱う物体が少ないほど良いということを学んだからだ。

AGI の研究を始めたばかりのカーマック氏と比べると、サットン氏はこの問題に何十年も取り組んでおり、より具体的な研究計画を持っています。

イベントではあまり語られませんでしたが、主要部分は「Project Alberta」という形でarXiv論文にまとめられています。

Project Alberta は、特定のトレーニング セットではなく一般的な経験を重視し、時間的な一貫性に焦点を当て、コンピューティング能力に応じて拡張できる方法とマルチエージェントの相互作用を優先する統合エージェント フレームワークを提案します。

12段階のロードマップも提案されました。

最初の 6 つのステップでは、モデルフリーの継続学習方法の設計に重点を置き、最後の 6 つのステップでは環境モデルと計画について説明します。

最後のステップは「インテリジェンス増幅」と呼ばれ、あるエージェントが学習した情報を活用して、いくつかの一般原則に基づいて別のエージェントの行動、知覚、認知を増幅および強化することができます。

サットン氏は、この種の拡張は AI の潜在能力を最大限に引き出すために不可欠な要素であると考えています。

このプロセスでは、AI の進歩を評価する指標を決定することが非常に重要ですが、非常に困難でもあり、チームはさまざまな開発を模索しています。

また、カーマック氏は常にオープンソースの支持者だが、AGIの問題に関しては、ある程度のオープン性は維持するが、アルゴリズムの詳細をすべて公開することはないと述べた。

カーマックは、小規模なチームであるため、先駆的な精神を維持し、短期的な利益ではなく長期的な発展に重点を置くことが必要であると考えています。

早急に商用化を検討することはなく、 ChatGPT のように一般公開できる中間形態も存在しません。

2030年までに何が達成できるかについては、カーマック氏は「AGIを一般向けに実証できる」と考えている一方、サットン氏は「AIのプロトタイプが生命の兆候を示すことができる」と述べています。

2030年は重要な年

2030 と AGI が同時に登場したのは今回が初めてではありません。

トップクラスの AI チームは、2030 年頃が AGI を実現するための重要な節目であると全員一致で考えています。

例えば、OpenAIは発表の中で、スーパーインテリジェンスがこの10年で実現すると信じており、スーパーインテリジェンス調整部門を設立するために総計算能力の20%を確保すると記している。

投資コミュニティでも同様な見解が見られます。孫正義氏は、ソフトバンク ワールド エンタープライズ カンファレンスで同様の PPT を発表しました。

OpenAI と Keen Technologies 以外に、AGI の開発に取り組んでいる組織は多くありません。

OpenAIの最大のライバルであるAnthropicは、40億ドルの資金調達を受けたばかりだが、同社のCEOであるダリオ・アモデイ氏は最近のインタビューで、2～3年以内にAIは十分に教育を受けた人間のように行動できるようになるだろうと述べた。

Transformer の作者である Vaswani 氏と Palmer 氏は Google を退職した後、汎用知能の創出を目標とするAdeptAIを設立しました。

しかし、今年初めに2人は突然会社を去り、共同創業者のデビッド・ルアン氏（右端）だけが残った。

Transformer の 2 人の著者は、Essential AI という別の会社を設立しました。この会社のビジョンは「星空を眺める」というものではなく、大規模モデルの商業化についてより実際的なものです。

中国にはAGI目標を明確に表明している企業もあまりなく、主にMiniMaxと、楊志林氏が新たに設立したDark Side of the Moonがそうだ。