53ページのPDFがOpenAIの「AGIタイムライン」を公開、内部告発者：マスクの訴訟が状況を混乱させた

OpenAI の謎の Q* プロジェクトに関する新たな情報があります。

今朝早く、54ページに及ぶGoogle文書がインターネット上で出回り始め、OpenAIが「2027年までに完全なAGIを実現する計画」であることが明らかになった。

内部告発者は、マスク氏に「危害を加え続ける」ことを望まなかったため、この文書を公開することにしたと述べた。彼は、マスク氏が起こした訴訟がAGIの遅延を引き起こしたと考えている。

写真

△文書の表紙はOpenAIの公式ではなく内部告発者によって作成された

このニュースが発表されるやいなや、ネット上では騒然となり、AGIの実現にはそれほど時間はかからないのではないかと考える人もいたほどだ…

写真

もちろん、文書の出所が不明であり、その信憑性を検証することはできないと考え、その信憑性を疑問視する人もいます。

写真

それで、この激しく議論されている衝撃的な文書には何が書かれているのでしょうか?

シリーズのリリース計画を再調整

この文書では、OpenAI が 125T (兆) 個のパラメータを持つ大規模なマルチモーダル モデルをトレーニングし、Q* がモデルの第一段階であることを示しています。

このモデルは、もともと2025年に発売が予定されていたGPT-5だそうだ。2023年12月にトレーニングが完了し、IQは48に達した。

後続のQ* 2024とQ* 2025（それぞれ2026年と2027年に発売予定）のIQは96と145になると考えられています。

IQ 96 はすでに平均的な人間のレベルですが、145 は天才レベルです。

しかし残念なことに、推論にかかるコストの高さとマスク氏の訴訟の影響により、この一連の計画は延期され、対応するモデルの名前が変更された。

写真

内部告発者によると、GPT-4がトレーニングを完了した2022年8月には、AGIはすでに兆候を見せ始めていたという。

GPT4 では AGI はすでに存在するのでしょうか?

内部告発者は、ニューラル ネットワークのパラメーターは生物のシナプスのようなものだと述べました。パラメーターが大きいほど (シナプスが多いほど)、パフォーマンスはよりスマートになります。

GPT-2 には 15 億の接続があり、これはマウスの脳 (約 100 億のシナプス) よりも少ないです。一方、GPT-3 には 1750 億の接続があり、これは猫の脳に近いです。

2020年にGPT-3がリリースされた後、このパラメータの数が人間の脳のシナプスの数に近いことから、約600倍の大きさで1兆個のパラメータを持つモデルの性能について多くの人が推測し始めました。

文書の著者は、ブリティッシュ・オープン・フィランソロピーの学者、ルーカス・フィンヴェデン（ランレイン）氏の見解を引用し、モデルのパラメータの数に基づいて、AIのパフォーマンスを予測できるようになると述べた。

写真

人間の脳には約 2×10^14 (200 兆) 個のシナプスがあり、これはニューラル ネットワークのパラメータ数 (緑の線) とほぼ同等です。

Lanrian が提示した推定予測によれば、AI のパフォーマンスはパラメータの数とともに人間のレベルに達するようです。

写真

AI のパフォーマンスは実際にパラメータの数に基づいて予測でき、約 100 兆個のパラメータがあれば人間レベルのパフォーマンスを発揮するのに十分であると仮定すると、AGI がいつ登場するかという問題は、エクサスケール AI モデルがいつ登場するかという問題になります。

OpenAIが1兆パラメータのモデルを開発しているという噂が最初に浮上したのは2021年夏。これはアルトマン氏が投資する企業、セレブラスのCEOアンドリュー・フェルドマン氏がWired誌のインタビューで明らかにした。

写真

同年9月、ウルトラマンはAC10のオンライン集会と質疑応答セッションでこの計画の存在を認めた。

その後すぐに、GPT-4がモデルであるという噂がインターネット上で浮上し、Ultramanを含むOpenAIの従業員が急いでその噂を反論した。

OpenAI の公式見解は、GPT-4 に 1 兆個のパラメータがあるという主張はまったくのナンセンスであるというものですが、文書の著者は、これは完全に真実ではないと考えています。著者の見解では、GPT-4 はこの 1 兆個のパラメータ モデルのサブセットです。

写真

内部告発者はまた、OpenAIはGPT-4が2022年8月に「トレーニングを完了した」と主張したが、8月から10月にかけて「巨大な」マルチモーダルモデルのトレーニングが行われていたと考えられていると述べた。

彼は、OpenAI が嘘をついたか、GPT-4 が最初のトレーニング ラウンドを完了した後、8 月から 10 月の間に追加のトレーニングを受けたかのどちらかであると推測しました。重要なのは、この期間が 1 兆ドルのモデルをトレーニングするのに必要な時間に非常に近いことです。

しかし、DeepMindが2022年に発表したChinchillaは、比較的小さなパラメータでより大きなパラメータを持つモデルを打ち負かしており、パラメータの数だけに基づいてモデルの性能を予測する方法は精度が十分ではないことが示されています。

これに対して、OpenAIのグレッグ・ブロックマン社長は、これまで信じていたスケーリングの法則に欠陥があることに気づき、適応するための対策を講じたと述べた。

さらに、内部告発者は、新たな追加により、この兆レベルのモデルは人間と同じレベルに到達できるようになると考えています...

この暴露の信憑性については、一方では、その中で引用されている人々の中には、OpenAI の行動について正確な予測をした人もいます。

しかし一方で、このニュースを報じたツイッターブロガーは、ツイートを合計2回しか投稿しておらず、しかもそれらは同じ日に投稿されたものだった。

写真

したがって、読者はこの文書の内容の信頼性について合理的に考える必要があります。

ドキュメントアドレス: https://drive.google.com/file/d/1xlRDbMUDE41XPzwStAGyAVEP8qA9Tna7