人間を脅かしていると疑われますか? OpenAI の謎の Q* プロジェクトに関する詳細情報が明らかになり、マスク氏とルカン氏が議論を交わしている...

Xi Xiaoyao Technologyはオリジナル

著者 | 王二狗みなさんこんにちは、私は二狗です

一昨日、OpenAIがサム・アルトマン氏が復帰し引き続きCEOを務めることを公式発表したことで、OpenAIの「宮殿での喧嘩事件」は終結した。

しかし、プロのゴシップ好きのエル・ゴウ氏にとって、まだ解明されていない核心的な問題がある。

サム・アルトマンはなぜ取締役会によって解雇されたのですか?

以前からネット上では様々な憶測が飛び交っていましたが、確たる証拠はないようです。

昨日まで、ロイターは最新のニュースを報じていた。

「サム・アルトマンがOpenAIから解雇される4日前、数人の研究者が理事会に手紙を送り、全人類を脅かす可能性のある強力なAIの発見（プロジェクトQ*）について警告した。情報筋によると、これまで報道されていなかったこの手紙とAIアルゴリズムの画期的な進歩が、理事会がサム・アルトマンを解任した理由の1つだった。」

一部の関係者は、プロジェクトQ*がOpenAIのAGIにおける重要なブレークスルーになる可能性があると考えています。 Q* プロジェクトの背後にある新しいモデルは、特定の数学の問題を解くことができます (ただし、小学生レベルに限られます)。しかし、研究者たちは、数学が生成 AI 開発の最前線にあると考えています。現在、生成 AI は統計的に次の単語を予測することで文章作成や言語翻訳に優れていますが、同じ質問に対する答えは大きく異なる可能性があります。

そして、正解が 1 つしかない数学を克服する能力は、AI が人間の知能に似たより優れた推論能力を持つ可能性があることを意味します。

では、なぜこれが取締役会がサム・アルトマンを解任した理由の一つだったのでしょうか?

主任科学者のサツケバー氏、複数のテクノロジー企業で役員を務めた経験を持つターシャ・マッコーリー氏、ジョージタウン大学の安全保障・新興技術センター（CSET）の戦略基礎研究基金ディレクターのヘレン・トナー氏など、OpenAIの役員数名は「効果的利他主義」の信奉者であると推測するのは妥当だろう。彼らは単純に「AI保守派」と理解してよいだろう。彼らの優先事項は、全人類に有益なAIの創造を確実にし、AIが人類を脅かさないことを確実にすることである。これはOpenAI役員会の使命でもある。

ヘレン・トナー氏はかつて、たとえ何かが起こってOpenAIが解散したとしても、理事会の使命の方が重要なので問題ないと語ったことがある。

サム・アルトマンはAIアクセラレーターです。彼はAIが制御不能になることはないと信じており、彼の最優先事項はOpenAIにさらなる資金を調達し、より商業化して利益を上げることです。結局のところ、GPTシリーズの大規模モデルは高価すぎるため、この方法でのみ、後でAGIをゆっくりと作成できることを保証できます。

Q* プロジェクトの背後にある画期的な進歩は、複数の役員によって人類にとって潜在的に脅威となる可能性があるとみなされたため、開発のペースが遅くなり、AI の安全性と調整の問題が優先された可能性があります。これは、ここ数か月 Sutskever 氏が取り組んできたことです。

アルトマン氏と数名の取締役はAIの安全性の問題について意見が一致しておらず、アルトマン氏の長期的な商業化へのアプローチは他の数名の取締役のアプローチとはかなり異なっていた。

これが、取締役の何人かがどんな犠牲を払ってでもアルトマン氏を追い出そうとしている理由かもしれない。

はい、上記はあくまでも妥当な推測です。アルトマン氏が解雇された本当の理由は、当局者によってさらに明らかにされる必要があります。この Q* プロジェクトが何なのか、引き続き見ていきましょう。

Q* プロジェクトの背景と詳細情報が明らかに

The Informationと関係者によると、OpenAIの主任科学者であるSutskever氏は長年、GPT-4のような言語モデルが数学や科学などの推論を伴う課題を解決できるようにする方法に取り組んできたという。 2021年に彼は、DeepMindのチェスマスターAlphaZeroに敬意を表して名付けられたGPT-Zeroというプロジェクトを立ち上げました。

写真

今年初め、スツケヴァー氏が率いるプロジェクトは技術的なブレークスルーを達成し、独自のデータを「生成」できるようになりました。理論的には、コンピューターを使用して、AlphaZeroが自分自身と対戦したように、無制限の高品質データを生成することができます。この動きは、新しいモデルをトレーニングするために十分な高品質データを取得する方法の限界を克服しました。なぜなら、OpenAIはインターネットで公開されているすべてのデータをほぼトレーニングしており、次のトレーニング段階のためにこれ以上データを取得できないことがわかっているからです。

アバカサイのCEO、ビンドゥ・レッディ氏はツイッターでこのニュースを引用した。

予想通り、OpenAI は合成データを使用してトレーニングデータの制限を克服する方法を発明し、十分な例でトレーニングすると、モデルはかなりうまく一般化され始めました。

これはオープンソースと分散型 AI にとって素晴らしいニュースです。私たちはもはや、データが豊富な企業に縛られることはありません。

写真

2人の研究者、ヤクブ・パチョッキ氏とシモン・シドール氏は、スツケヴァー氏の研究を応用してQ*と呼ばれるモデルを開発し、既存のAIモデルでは困難であった基本的な数学的問題を解決できるシステムを構築できるようになりました。

名前だけから判断すると、Q* は強化学習における Q 学習アルゴリズムに関連している可能性があります。これは、AI が特定の状況で特定のアクションを実行するかどうかを評価する方法であり、さまざまな状況で AI が最適な決定を下せるようにガイドするために使用されます。

しかし、Q は単なるコードネームである可能性が高い。Reddit ユーザーは、Q のその他の能力について明らかにし、推測した。

Q* の背後にあるモデルには、自律的に学習して改善する能力がすでに備わっている可能性があります。
Q* の背後にあるモデルは、その行動の長期的な結果を評価することで、幅広いシナリオで複雑な決定を下すことができ、わずかに自己認識できるようになっている可能性があります。

AIはすでに少しは自己認識能力を持っているのでしょうか?

これはあまりにも「でたらめ」に聞こえます!小学校までしか通っていなかったエルゴウのことすら信じない。

結局のところ、無数の科学者が意識という難しい問題において何らの突破口も見つけられず、それはまだ哲学的な議論と神経科学の探究の段階にあります。

しかし、わずか1か月前、OpenAIの主任科学者であるSutskever氏は、MIT Technology Reviewとの独占インタビューで「ChatGPTは意識を持っているかもしれない」と語った。以下は、MIT Technology Reviewのレポートである。

イリヤ氏は、次期GPTやDALL-Eを構築するつもりはなく、むしろ超知能が制御不能になるのを防ぐ方法を見つけ出すつもりだと語った。未来主義の信奉者として、彼はこのまだ仮説的な未来技術が最終的には現れると信じています。
彼はChatGPTが意識を持っているかもしれないと考えています。彼はまた、OpenAI や他の企業が競って開発しているテクノロジーの真の力を人々が認識する必要があるとも考えています。彼は将来、機械と融合することを選択する人もいるだろうと信じている。
ChatGPT は、多くの人々の今後の見通しを「決して起こらない」から「予想よりも早く進む」へと変えたと彼は語った。
汎用人工知能（人間と同じくらい賢い機械を指す）の発展を予測する前に、彼はこう語った。「それがどこに向かっているのかを話すことは重要です。ある時点で、私たちは実際に汎用人工知能を目にすることになるでしょう。OpenAIがそれを構築するかもしれませんし、他の企業が構築するかもしれません。」

ビッグデータパラダイムは単なる一時的な対策なのでしょうか?

Twitter上では様々な専門家が上記の事件について議論した。

NVIDIA のシニア AI 科学者であるジム・ファン氏は次のように述べています。

合成データが次の兆個の高品質トレーニングトークンを提供することは明らかです。大規模なモデルチームの大多数はこれを知っていると思います。重要な問題は、データの品質を維持し、停滞を回避する方法です。

リチャード・S・サットンの痛い教訓は、AI 開発の指針となり続けています。計算によって無限に拡張できるパラダイムは、学習と検索の 2 つだけです。これは 2019 年にも当てはまり、今日も当てはまり、AGI 問題が解決される日までは当てはまり続けると思います。

写真

マスク氏はこう語った。「確かに、人間が書いたあらゆる本のテキストをハードドライブに保存できるというのは、少し残念なことだ。」しかし、合成データは無限に存在するでしょう。

写真

Perplexity AIのCEOは次のように指摘した。「テスラはトレーニングに合成データを使用しており、これはいわゆる自動ラベリングプロジェクトです。」

写真

しかし、チューリング賞受賞者のヤン・ルカン氏は、ビッグデータパラダイムは一時的な対策に過ぎないと考えています。

動物や人間は、ごくわずかなトレーニングデータで非常に早く賢くなることができます。私は、動物や人間と同じくらい効率的に学習できる新しいアーキテクチャに賭けています。現在の方法には限界があるため、より多くのデータ（合成データまたは非合成データ）を使用することは一時的な応急措置となります。

写真

たとえば、オウム、イヌ、タコには約 20 億個のニューロンがあります。わずか 20 億個のニューロン/10T パラメータを持つマシンを、数か月間のリアルタイムトレーニングデータを通じて、タコ、イヌ、オウム、カラスと同じくらい賢くするにはどうすればよいでしょうか。

写真

あるネットユーザーはこう投稿した。「人類の何百万年にもわたる進化的適応は事前訓練に似ており、生涯にわたる経験は継続的な微調整に似ているのではないでしょうか？」

写真

ルカン氏は、このデータは十分ではないと述べた。

写真

あるAI研究者はLeCun氏にこう答えた。

私たち人間もトレーニングに大量のデータを使用します。私たちは、DNA でエンコードされた「指示」はもちろんのこと、ビデオ、オーディオ、感覚データに常にさらされていることを忘れています。私たちはゼロからトレーニングされているわけではなく、私たちの出力は大規模な言語モデルの出力よりもはるかに一般的です。
また、新しいアーキテクチャについても同意します。

写真

ルカンは厳密な計算を行った。

写真

エドゥアルド・スロンスキはルカンに説得された。

写真

Lecun 氏は次のように結論づけています。「現在の大規模言語モデルは、人間が読むのに 2 万年かかる量よりも多くのテキストデータでトレーニングされています。しかし、A が B と同じであれば、B も A と同じである (逆の呪い) ということがまだわかっていません。人間は比較的少ないトレーニングデータでずっと賢くなります。カラス、オウム、犬、タコでさえ、わずか 20 億個のニューロンと数兆個の「パラメーター」で、これよりも非常に速く賢くなります。」

写真

大規模言語モデルは AGI への道となるか?

少し前、サム・アルトマンはフィナンシャル・タイムズ紙のインタビューでこう語った。

OpenAI は ChatGPT で成功を収め、ユーザーにも受け入れられていますが、ChatGPT も GPT ストアも OpenAI が構築したい本当の製品ではありません。最終的な目標は、汎用人工知能を構築することです。ChatGPT の背後にある大規模言語モデル (LLM) は、汎用人工知能を構築するための中核部分の 1 つにすぎません。
汎用人工知能の開発競争における「大きな欠けているピース」は、そのような AI システムが達成する必要のある根本的な「理解の飛躍」です。
長い間、ニュートンのルーチンは、数学の教科書を読み、教授と話し、問題を練習することだった（これはビッグデータのトレーニングパラダイムを表していた）。しかし、ニュートンは幾何学や代数を読むだけでは微積分を発明することは決してなかった（しかし、新しいパラダイムを見つける必要があった）。そして、OpenAI が AGI を実現するのも同じことだ。

この事件については中国でも議論されている。知乎の有名人で清華大学博士の謝玲熙氏は、非常に興味深い見解を述べた非常に鋭い記事を書いている。

アルゴリズムの進歩だけで AGI を実現することは不可能でしょう。
現在、ChatGPT のようなコンピュータービジョンアルゴリズムをトレーニングできるインタラクティブな環境は業界に存在しません。 1.** 本当に大規模なビジュアルモデルを実現するには、まず会話のようなビジュアルインタラクション環境を確立する必要があります。 **
いつか OpenAI のロボットが街中を走り回り、人間と対話してデータを収集するのを見たり、OpenAI がさまざまな特定のタスクをシミュレートできる十分に豊富な仮想環境を作成したりしない限り、ChatGPT のパラダイムが視覚の世界にうまく転送されるとは思えません。

写真

謝玲熙氏は、次のような背景知識を加えて説明しました。「技術の飛躍は、多くの場合、単一のブレークスルーではなく、多くの側面における技術の蓄積の結果です。」

写真