GPT-4 は AGI のきっかけとなるだけでしょうか? LLMは最終的に廃止され、世界モデルが未来となる

人間の認知においては、汎用人工知能（AGI）を人工知能の究極の形、およびその開発の究極の目標として設定することに長い間慣れてきたようです。

写真

OpenAI は以前から AGI の実現を同社の目標としてきました。しかし、OpenAIのCEOであるサム・アルトマン氏自身は、AGIが何であるかを具体的に定義することはできない。

AGI がいつ登場するかについては、それは大物たちが語る近未来の物語のシナリオの中にしか存在しません。手の届くところにあるように思えますが、まだまだ遠い未来でもあります。

本日、海外の有名なポッドキャストサイトSubstackで、人工知能業界のベテランであるValentino Zocca氏が、人類史の物語的観点から、人間と汎用人工知能との距離を包括的かつ深く描写した力強い記事を執筆しました。

写真

この記事では、AGI を単に「世界を記述するモデル」ではなく「世界を理解できるモデル」と大まかに定義しています。

人類が本当に AGI の世界に到達したいのであれば、「自らの現実に疑問を持ち、自らを探求できるシステム」を構築する必要があると彼は考えています。

そして、この偉大な探究プロセスにおいて、具体的なロードマップを提供できる資格と能力のある人はおそらく誰もいないでしょう。

OpenAI の科学者ケネス・スタンリーとジョエル・レーマンが最近出版した著書「偉大さは計画できない理由」で説明しているように、偉大さの追求は方向性ではあるが、具体的な結果は予想外のものである可能性がある。

AGI からどれくらい離れているのでしょうか?

約20万年前、ホモ・サピエンスは地球上で直立歩行を開始し、同時に思考と知識の領域を旅し始めました。

人類の歴史における一連の発見と発明が人類の歴史を形作ってきました。これらのうちいくつかは、私たちの言語や思考に影響を与えるだけでなく、私たちの生理的構造にも影響を及ぼす可能性があります。

たとえば、火の発見により、原始人は食べ物を調理できるようになりました。調理された食べ物は脳に多くのエネルギーを与え、それによって人間の知能の発達を促進します。

車輪の発明から蒸気機関の誕生まで、人類は産業革命をもたらしました。電気は今日の技術発展への道をさらに開き、印刷機は新しいアイデアや新しい文化の広範な普及を加速し、人類の革新の発展を促進しました。

しかし、進歩は新たな物理的発見からだけでなく、新たなアイデアからも生まれます。

西洋世界の歴史は、ローマ帝国の衰退から中世を経て、ルネッサンスと啓蒙時代の復興まで続きます。

しかし、人類の知識が増すにつれて、人類はゆっくりと自らの無意味さに気づき始めます。

ソクラテス以来2000年の間に、人類は「自分たちは何も知らないことを知る」ようになり、地球はもはや宇宙の中心とはみなされなくなりました。宇宙自体は膨張しており、私たちはその中の一粒の塵に過ぎません。

現実の認識を変える

しかし、人類の世界に対する理解における最大の変化は 20 世紀に起こりました。

1931年、クルト・ゲーデルは不完全性定理を発表しました。

わずか 4 年後、「完全性」というテーマを継続して、アインシュタイン、ポドルスキー、ローゼンは「物理的現実の量子力学的記述は完全であると考えられるか?」と題する論文を発表しました。

その後、ニールス・ボーアはこの論文を反駁し、量子物理学の妥当性を証明した。

ゲーデルの定理は、数学でさえ究極的にはすべてを証明できるわけではないこと、つまり人間が証明できない事実が常に存在することを示しています。一方、量子論は、私たちの世界には不確実性が欠けており、電子の速度や位置など、特定の出来事を予測することは不可能であることを示しています。

アインシュタインは「神は宇宙でサイコロを振らない」と有名な​​言葉を残していますが、物理学において物事を単純に予測したり理解したりするとなると、本質的には人間の限界は明らかです。

人間がどれだけ努力して、人間が定めたルールによって運営される数学的な宇宙を設計しようとしても、そのような抽象的な宇宙は常に不完全であり、証明も否定もできない客観的な公理が含まれています。

数学の抽象的な表現に加えて、人間の世界は現実を記述する哲学によっても表現されます。

しかし、人間はこれらのことを説明したり、十分に表現したり、理解したり、あるいは単に定義することさえできないことに気づきます。

20 世紀初頭、「真実」の概念はまだ不確かで、「芸術」、「美」、「人生」などの概念には定義レベルでの基本的な合意が欠けていました。

他の多くの重要な概念についても同様です。「知恵」や「意識」は人間自身によって明確に定義することはできません。

知能の定義

知能の定義のギャップを埋めるために、2007 年に Legg と Hart は著書「General Intelligence」の中で機械知能の定義を提案しました。「知能とは、変化する環境においてエージェントが目標を達成する能力を測定するものである。」

同様に、ハンブリック、バーゴイン、アルトマンは『問題解決と知能』の中で、問題解決能力は知能の一側面や特徴ではなく、知能の本質であると主張しています。

これら 2 つのステートメントは言語の説明において類似点があり、どちらも「目標の達成」は「問題の解決」に結びつくと考えています。

写真

ゴットフレドソンは著書『知能に関する主流科学：52 名の署名による論説』の中で、より広い視点から複数の研究者による知能の定義を要約しています。

「知能とは、推論、計画、問題解決、抽象的思考、複雑な概念の理解、素早い学習、経験からの学習など、非常に一般的な精神的能力です。それは単なる書物の知識、狭い学問的スキル、または試験の受験スキルではありません。むしろ、それは周囲の環境を理解するより広く深い能力、つまり物事を「捉える」、「理解する」、または何をすべきかを「考える」能力を反映しています。」

この定義は、知能の構築を単なる「問題解決能力」を超えて、経験から学ぶ能力と周囲の環境を理解する能力という 2 つの重要な側面を導入します。

言い換えれば、知能は、一般的な問題に対する解決策を見つける抽象的な能力としてではなく、過去の経験から学んだことを私たちの環境で発生する可能性のあるさまざまな状況に適用する具体的な能力として捉えるべきです。

これは、知性と学習の間の本質的なつながりを強調しています。

スタニスラス・デハーネは著書『How We Learn』の中で、学習を「学習とは世界のモデルを形成するプロセスである」と定義しています。つまり、知能とは周囲の環境を理解し、環境を記述するための内部モデルを作成する能力でもあるということです。

したがって、知能には世界のモデルを作成する能力も必要ですが、この能力だけが含まれるわけではありません。

今日の機械はどれくらい賢いのでしょうか?

汎用人工知能 (AGI) と狭義の人工知能 (狭義の AI) について議論する場合、それらの違いが強調されることがよくあります。

狭義の AI、つまり弱い AI は広く普及して成功を収めており、特定のタスクでは人間を上回るパフォーマンスを発揮することがよくあります。

例えば、2016年に狭義の人工知能AlphaGoが囲碁の世界チャンピオンであるイ・セドルを4対1で破ったのが良い例です。

しかし、2023年にアマチュア囲碁プレイヤーのケリン・パーライン氏は、人工知能が対処できない戦術を使って囲碁のフィールドで人間に勝利し、特定の分野に特化した人工知能には場合によっては限界があることを実証した。

異常な戦術を認識し、それに応じて調整する人間的な能力が欠けています。

そして、最も基本的なレベルでは、新進のデータ サイエンティストでさえ、AI が依存するすべての機械学習モデルは、バイアスと分散のバランスを取る必要があることを理解しています。

これは、データを単に記憶するだけでなく、データから解決策を学び、理解し、一般化することを意味します。

狭義の AI は、コンピューターの計算能力とメモリ容量を利用して、大量の観測データから比較的簡単に複雑なモデルを生成します。

しかし、条件が少しでも変化すると、これらのモデルは適用できなくなることがよくあります。

それは、私たちが観察に基づいて地球の重力を説明する理論を思いつき、その後、月面上の物体がはるかに軽いことを発見するようなものです。

重力理論の知識に基づいて数値ではなく変数を使用すると、正しい値を使用して各惑星または衛星の重力の大きさを迅速に予測する方法がわかります。

しかし、変数のない数式だけを使用すると、数式を書き直さずに他の惑星に正しく一般化することはできません。

言い換えれば、AI は真に「学習」することはできず、情報や経験を抽出することしかできない可能性があります。 AI は、理解するために世界の包括的なモデルを形成するのではなく、単に世界を説明するための要約を作成します。

私たちは本当に AGI に到達したのでしょうか?

AGI は現在、一般的に、人間レベル以上の複数の認知分野を理解し、推論できる人工知能システム、つまり強力な人工知能を意味すると理解されています。

現在、特定のタスクに使用されている人工知能は、囲碁の AlphaGO のような弱い人工知能のみです。

AGI は、抽象的思考のすべての領域をカバーする人間レベルの知能を備えた人工知能システムを表します。

つまり、AGI に必要なのは、経験と一致し、正確な予測ができる世界のモデルです。

Everitt、Lea、Hutter が Safety Literature Review で指摘しているように、AGI はまだ存在していません。

真の AGI からどれだけ離れているかという問題に関しては、予測は大きく異なります。

しかし、人間が真の汎用人工知能に到達するまでには少なくとも数年かかるというのが、ほとんどの人工知能研究者や権威ある組織の見解と一致しています。

GPT-4 のリリース後、現在最も強力なこの人工知能に直面して、多くの人が GPT-4 を AGI の火付け役と見なしています。

4月13日、OpenAIのパートナーであるMicrosoftは論文「汎用人工知能の火花：GPT-4の初期実験」を発表した。

写真

論文アドレス: https://arxiv.org/pdf/2303.12712

そこには次のように記されていた。

「GPT-4は言語を習得するだけでなく、人間からの特別な指示を必要とせずに、数学、コーディング、視覚、医学、法律、心理学などの分野で最先端のタスクを解決することもできます。

そして、上記のすべてのタスクにおいて、GPT-4 のパフォーマンス レベルは人間のレベルとほぼ同等です。 GPT-4 の機能の幅広さと深さに基づいて、GPT-4 は汎用人工知能のほぼ完全なバージョンではないと見なすのが妥当だと考えています。 「

しかし、カーネギーメロン大学のマールテン・サップ教授がコメントしたように、「Sparks of AGI」は、一部の大企業が研究論文を広報宣伝に利用している一例に過ぎません。

一方、研究者であり機械起業家でもあるロドニー・ブルックス氏は、誤解を指摘した。「ChatGPTのようなシステムの機能を評価するとき、私たちはパフォーマンスと能力を同一視することが多いのです。」

パフォーマンスと能力を誤って同一視することは、GPT-4 によって生成された世界の概要説明が現実世界の理解であると見なされることを意味します。

これは、AI モデルがトレーニングされるデータに関係しています。

今日のほとんどのモデルはテキストのみでトレーニングされており、現実世界で話したり、聞いたり、嗅いだり、行動したりする能力がありません。

この状況は、洞窟に住む人々が壁に映った影しか見えず、物事の本当の存在を認識できないという、プラトンの洞窟の寓話に似ています。

テキストのみでトレーニングされたワールドモデルは、文法的に正しいことしか保証できません。しかし本質的には、言語によって参照されるオブジェクトを理解しておらず、環境と直接接触するための常識も持っていません。

現在の大型モデルの主な限界

大規模言語モデル (LLM) に関して最も議論されている課題は、幻覚を起こす傾向があることです。

幻覚とは、モデルが参照や事実を捏造したり、論理的推論や因果推論などを混同したりして、意味のないコンテンツを生成する状況を指します。

大規模言語モデルの幻覚は、イベント間の因果関係を理解し​​ていないことから生じます。

論文「ChatGPTは優れた因果推論器か？包括的な評価」の中で、研究者らは次の事実を確認しました。

ChatGPT などの大規模言語モデルでは、関係が現実に存在するかどうかに関係なく、イベント間に因果関係があると想定される傾向があります。

写真

論文アドレス: https://arxiv.org/pdf/2305.07375

研究者らは次のように結論付けた。

「ChatGPT は因果関係を説明するのに優れていますが、因果関係を推論するツールとしては優れていません。」

同様に、この結論は他の LLM にも適用できます。

これは、LLM が本質的には観察を通じて因果推論を行う能力しか持たず、因果推論を行う能力を持たないことを意味します。

これは、LLM の限界にもつながります。知能が経験から学び、学んだことを周囲の環境を理解するための世界モデルに変換することを意味するのであれば、学習の基本要素としての因果推論は知能の不可欠な部分です。

既存の LLM にはこの側面が欠けているため、Yann LeCun は現在の大規模言語モデルは AGI にはなれないと考えています。

結論は

20 世紀初頭に登場した量子力学が明らかにしたように、現実は私たちが日常の観察から得る直感とはしばしば異なります。

私たちが構築する言語、知識、テキスト資料、さらにはビデオやオーディオ資料は、私たちが経験できる現実のごく限られた一部にすぎません。

私たちが直感や経験に反する現実を探求し、学び、習得するのと同じように、AGI は、それ自身の現実に疑問を持ち、自己探求が可能なシステムを構築できたときにのみ実現されます。

少なくとも現段階では、因果推論を実行し、世界を理解できるモデルを構築する必要があります。

この展望は人類の歴史における新たな前進であり、世界の本質に対するより深い理解を表しています。

AGIの出現により、私たち自身の固有の価値や存在の重要性に対する確信は弱まるものの、継続的な進歩と認知の境界の拡大を通じて、宇宙における人類の位置付けや、人類と宇宙の関係性についてより明確な理解が得られるようになるでしょう。

参考文献:

https://aisupremacy.substack.com/p/how-far-are-we-from-agi