GPT-4 は AGI です! Googleとスタンフォード大学の科学者が、大規模モデルがいかにして超知能化できるかを明らかに

汎用人工知能（AGI）は実際に実現されているのでしょうか？

最近、Google Research と Stanford HAI の重鎮たちが、現在の大きな予測モデルが AGI への正しい方向であり、最先端のモデルにはすでに AGI の機能が備わっているという記事を発表しました。

写真

著者の両名は AI 業界の大物です。Blaise Agüera y Arcas 氏は現在 Google Research の副社長兼研究者であり、かつては Microsoft で働いていました。主な研究分野は人工知能の基礎研究です。

写真

ピーター・ノーヴィグはアメリカのコンピューター科学者であり、スタンフォード AI 研究所の研究者、Google Research のエンジニアリング ディレクターです。

写真

汎用人工知能（AGI）の意味は、人によって全く異なります。

今日の最も先進的な AI 大規模言語モデルは、AGI のビジョンのほとんどを実現しています。

これらの「最先端モデル」には多くの欠陥があります。学術的な引用や裁判例を捏造し、トレーニングデータから人間の偏見を拡張し、単純な計算が合わないのです。

それでも、今日の最先端のモデルは、訓練されていない新しいタスクを実行することができ、前世代の AI や教師ありディープラーニング システムが決して到達できなかった限界を超えています。

1945 年の ENIAC が現在、最初の真の汎用電子コンピュータとして認識されているように、数十年後には、それらは AGI 機能の最初の例として認識されるでしょう。

今日のコンピュータは、速度、メモリ、信頼性、使いやすさの点で ENIAC をはるかに上回っています。しかし、ENIAC は、シーケンシャル命令、ループ命令、条件付き命令を使用してプログラムすることができ、微分解析装置などの前身にはなかった汎用性を実現しました。

同様に、将来の最先端の AI も今日の基盤を改良し続けるでしょう。

しかし、一般性という重要な属性についてはどうでしょうか?

現実的な大規模言語モデルに実装されています。

汎用人工知能とは何ですか?

初期の AI システムは、タスクを実行する能力において人間のレベルに近づくかそれを超えることができましたが、通常は単一のタスクにしか集中できませんでした。

たとえば、1970年代にスタンフォード大学のテッド・ショートリフが開発したMYCINは、細菌感染を診断して治療法を提案することしかできず、SYSTRANは機械翻訳しかできず、IBMの「ディープ・ブルー」はチェスしかできなかった。

写真

その後、AlexNet や AlphaGo などの教師あり学習によってトレーニングされたディープ ニューラル ネットワーク モデルは、初期のヒューリスティック、ルールベース、または知識ベースのシステムでは長い間解決できなかった多くの機械認識および判断タスクを正常に完了しました。

写真

最近では、専門的な訓練を必要とせずにさまざまなタスクを実行できる最先端のモデルが登場しています。

これらのモデルは、次の 5 つの重要な側面で汎用人工知能の機能を実現していると言えます。

- トピック

最先端のモデルは、インターネット上でこれまでに議論されたほぼすべてのトピックを網羅した数百ギガバイトのテキストでトレーニングされています。これらのモデルの一部は、大量の多様なオーディオ、ビデオ、その他のメディアでトレーニングされています。

- タスク

これらのモデルは、質問への回答、ストーリーの生成、要約、音声の書き起こし、言語の翻訳、通訳、意思決定、顧客サポートの提供、アクションを実行するための他のサービスの呼び出し、テキストと画像の結合など、さまざまなタスクを実行できます。

- モダリティ

最も人気のあるモデルは主に画像とテキストを処理しますが、一部のシステムはオーディオとビデオも処理でき、ロボットのセンサーやアクチュエータに接続されているものもあります。モダリティ固有のトークナイザーを使用したり、生データ ストリームを処理したりすることで、最先端のモデルは原理的には既知のあらゆる感​​覚または運動モダリティを処理できます。

- 言語

ほとんどのシステムでは英語がトレーニング データの最大の割合を占めますが、大規模なモデルでは、トレーニング データに例がない言語ペア間でも、数十の言語で会話や翻訳を行うことができます。トレーニング データにコードが含まれている場合、モデルは自然言語とコンピューター言語間の「翻訳」（一般的なプログラミングとリバース エンジニアリング）もサポートできます。

- 指導可能性

これらのモデルは、「コンテキスト学習」、つまりトレーニング データではなくプロンプトに基づいて学習することができます。 「少量学習」では、新しいタスクにいくつかの入力/出力例が与えられ、システムは新しい入力に対応する出力を生成します。 「ゼロショット学習」では、新しいタスクは説明されますが、例は示されません（例：「ヘミングウェイ風に猫についての詩を書く」）。

写真

「一般知能」は、単一の「はい/いいえ」の命題としてではなく、複数の次元にわたって考慮されなければなりません。

これまで、弱い AI システムは通常、単一のタスクまたは事前に決定されたタスクのみを実行し、そのタスクに対して明示的にトレーニングされていました。モデルはエンジニアが想定したタスクの範囲内で動作するため、マルチタスク学習でも弱いインテリジェンスしか生成できません。実際、弱い AI の開発に伴う大変な作業の多くは、タスク固有のデータセットを整理して注釈を付けることです。

対照的に、最先端の言語モデルは、自然言語で質問および回答できる、人間が実行できるほぼすべてのタスクを、定量化可能なパフォーマンスで実行できます。

コンテキスト学習機能は、汎用人工知能にとって重要なタスクです。コンテキスト学習により、タスクの範囲がトレーニング コーパスで観察されるものから記述できるすべてのものまで拡張されます。その結果、汎用 AI モデルは設計者が想像もしなかったタスクを実行できるようになります。

写真

「一般的な」および「インテリジェントな」という言葉の日常的な意味によれば、最先端のモデルは、この点で実際にかなり高いレベルに達しています。

では、なぜ一部の人々は AGI の存在を認めたがらないのでしょうか?

これには主に4つの理由があります。

1. AGI指標に懐疑的になる

2. 他のAI理論や技術を強く信じている

3. 人間（または生物）の独自性への執着

4. AIの経済的影響に関する懸念

AGIの評価指標の設定方法

実のところ、汎用人工知能 (AGI) の閾値がどこにあるかについては大きな意見の相違があります。多くの業界の専門家は、この用語の使用を一切避けようとしてきました。

たとえば、DeepMind の共同設立者である Mustafa Suleyman 氏は、このシステムを説明するために「人工知能」という言葉を使うことを提案しました。

彼は、10万ドルのスタートアップ資本で100万ドルをオンラインですぐに稼ぐことができるAIシステムの能力を測定するために、「現代のチューリングテスト」を使用することを提案した。

「能力」を「お金を稼ぐ能力」と直接的に同一視することは議論の余地があるように思われますが、富を直接生み出すことができる AI システムは、間違いなくより深いレベルで世界に影響を与えるでしょう。

もちろん、いくつかの指標に懐疑的になる十分な理由があります。

たとえば、複雑な法律、ビジネス、または医療の試験に合格すると、その人が試験の問題に正確に答えられるだけでなく、関連するさまざまな問題や複雑なタスクを解決できると世間は想定します。

当然、この人物が普通の人間と同等の能力を備えていることは間違いありません。

LLMは試験を受けることはできるが、医師になることはできない

ただし、最先端の大規模言語モデルがこれらの試験に合格するようにトレーニングされる場合、トレーニング プロセスはテストの質問の種類に合わせて調整されることがよくあります。

モデルはこれらの資格に合格できるかもしれませんが、現在の最先端のモデルが弁護士や医師の仕事を遂行できる可能性は低いでしょう。

グッドハートの法則は、「尺度が目標になると、それは良い尺度ではなくなる」と述べています。

AI 業界全体では、モデルの能力を評価するためのより優れたテストが必要であり、スタンフォード大学のモデル評価システムである HELM など、大きな進歩が遂げられています。

写真

テストセットのアドレス: https://crfm.stanford.edu/helm/latest/

流暢に話す＝知能が高い？

もう一つの非常に重要な問題は、言語の流暢さと知性を混同しないことです。

Mitsuku（現在はKukiと呼ばれています）などの以前の世代のチャットボットは、突然話題を変えたり、テキストの連続した部分を繰り返すことで、人間の開発者を騙すことがありました。

現在の最先端のモデルは、事前に設定されたテキストに頼ることなく即座に応答を生成でき、大量のテキストの主題を把握するのに優れています。

しかし、これらのモデルは依然として人間の本質に関する仮定から恩恵を受けています。つまり、彼らの流暢で文法的な応答は、依然として人間のような知的な存在から来ているのです。

私たちはこれを「チャウンシー・ガードナー効果」と呼んでいます。これは「ビーイング・ゼア」（後に映画化された風刺小説）の登場人物にちなんで名付けられました。チャウンシーは尊敬され崇拝されるべき人物に「似ている」というだけの理由で、世界から尊敬され崇拝さえされています。

写真

LLM機能の突然の出現

研究者の Rylan Schaeffer、Brando Miranda、Sanmi Koyejo は論文の中で、一般的な AI 能力メトリクスのもう 1 つの問題点を指摘しています。それは、メトリクスの難易度が直線的ではないということです。

写真

論文アドレス: https://arxiv.org/pdf/2304.15004.pdf

たとえば、一連の 5 桁の算数問題で構成されるテストの場合。小さなモデルでは質問に正しく答えられる可能性はほとんどありませんが、モデルの規模が大きくなるにつれて、ある重要なしきい値を超えると、モデルはほとんどの質問に正しく答えるようになります。

この現象により、十分に大きなモデルから突然計算能力が出現するかのように思われます。

しかし、テストセットに1桁から4桁の算数問題も含まれており、一部の桁を正しく計算すれば得点できるという採点基準に変更されれば、得点するために人間のようにすべての桁を正しく計算する必要はなくなります。

モデルのサイズが大きくなるにつれて、モデルのパフォーマンスが徐々に向上し、突然のしきい値は存在しないことがわかります。

この見解は、超知能の能力や特性（おそらく意識を含む）が突然、不思議に「出現」する可能性があるという考えに疑問を投げかけます。 「出現理論」は確かに国民、さらには政策立案者の間にもある程度パニックを引き起こした。

写真

同様の議論は、なぜ人間には知性があり、他の類人猿には知性がないのかを「説明」するために使われてきた。

現実には、この知能の不連続性は同様に幻想である可能性がある。知能を測定する基準が十分に正確である限り、知能は基本的に連続体であり、「多ければ多いほど良い」のではなく、「多ければ多いほど良い」とみなすことができます。

なぜコンピュータプログラミング + 言語学 ≠ AGI なのでしょうか?

AGI 開発の歴史を通じて、知能に関する競合する理論が数多く存在し、そのいくつかは特定の分野で受け入れられてきました。

正確に定義された形式文法を持つプログラミング言語に基づくコンピュータサイエンス自体は、その誕生以来、「古き良き AI」(GOFAI) と密接に関連しています。

GOFAI の信条は、少なくとも 17 世紀のドイツの数学者ゴットフリート・ヴィルヘルム・ライプニッツにまで遡ります。

アレン・ニューウェルとハーバート・サイモンの「物理的記号システム仮説」はこの理論をさらに具体化しました。

写真

論文アドレス: https://dl.acm.org/doi/pdf/10.1145/360018.360022

その仮説は、知能は微積分によって記述できるというものであり、微積分では記号が思考を表し、思考は論理的な規則に従って記号を変換することで構成される。

一見すると、英語のような自然言語は次のようなシステムであるように思えます。

「椅子」や「赤」などの概念を表すには、「椅子」や「赤」などの記号を使用します。

記号システムは、「椅子は赤い」といった発言をすることができ、また、「椅子が赤いなら、椅子は青ではない」といった論理的な推論を生成することもできます。

写真

この議論は合理的に思えますが、このアプローチを使用して構築されたシステムは脆弱であることが多く、機能性と汎用性が制限されます。

主な問題は 2 つあります。まず、「青」、「赤」、「椅子」などの用語は漠然としか定義されておらず、実行されるタスクの複雑さが増すにつれて、曖昧さがさらに深刻になります。

第二に、そのような論理的推論は普遍的に有効な結果を生み出す可能性は低く、椅子は実際には青か赤である可能性があります。

さらに根本的には、思考や認知のプロセスの多くは、論理命題の変換に還元することはできません。

これが、コンピュータプログラミングと言語学を組み合わせようとする何十年にもわたる努力が、汎用人工知能に似たものを生み出すことに成功しなかった主な理由です。

しかし、特に記号システムや言語学を専門とする研究者の中には、彼らの特定の理論は汎用知能を前提としており、ニューラル ネットワークや機械学習は、特にモデルが言語のみでトレーニングされている場合、理論的には汎用知能を達成できないと主張する人もいます。

ChatGPT がリリースされた後、これらの批評家たちはさらに声高に批判するようになりました。

マーカス: オン・キュー・ミー?

LLMの推論と言語は人間とは大きく異なります

たとえば、現代言語学の父であるノーム・チョムスキーは、大規模言語モデルについて次のように書いています。「言語学と知識の哲学から、大規模言語モデルは人間の推論や言語の使用法とは根本的に異なることがわかっています。この違いにより、これらのプログラムの力は大きく制限され、根絶不可能な欠陥が組み込まれています。」

写真

認知科学者で現代のAI評論家でもあるゲイリー・マーカス氏は、最先端のモデルは「人間のように話し、見える方法を学んでいます。しかし、実際には自分が何を言っているのか、何をしているのか分かっていません」と語る。

マーカス氏は、ニューラル ネットワークが汎用 AI のソリューションの一部となる可能性があることを認めていますが、「AI に対する強力で知識主導型のアプローチを構築するには、ツールキットにシンボル操作メカニズムがなければならない」と主張しています。

Marcus (および他の多くの人々) は、最先端のモデル (特に大規模な言語モデル) の機能のギャップを見つけることに重点を置いており、それらはアプローチの根本的な欠陥を反映していると主張することがよくあります。

写真

これらの批評家は、明示的な表記がなければ、学習した「統計的」手法だけでは真の理解は得られないと主張しています。

それに関連して、彼らは、記号概念がなければ論理的推論は不可能であり、「本当の」知性にはそのような推論が必要であると主張しています。

知能が常に記号と論理に依存しているかどうかという問題はさておき、ニューラル ネットワークはコンピューターが実行できることすべてにおいて非常に強力であるため、ニューラル ネットワークと機械学習が不十分であるという主張には疑問を抱く理由があります。例えば：

- ニューラル ネットワークは離散的または記号的な表現を簡単に学習でき、これらはトレーニング プロセス中に自然に現れます。

写真

論文アドレス: https://royalsocietypublishing.org/doi/epdf/10.1098/rsta.2022.0041

- 高度なニューラル ネットワーク モデルは、複雑な統計手法をデータに適用できるため、与えられたデータに基づいてほぼ最適な予測を行うことができます。モデルはこれらの技術を適用する方法を学習し、明示的に指示されなくても特定の問題に最適なものを選択します。

写真

論文アドレス: https://arxiv.org/pdf/2306.04637.pdf

- 複数のニューラル ネットワークを適切に積み重ねると、任意のコンピュータ プログラムと同じ計算を実行できるモデルが生成されます。

写真

論文アドレス: https://proceedings.mlr.press/v202/giannou23a.html

- コンピューターによって計算された任意の関数の入力と出力の例が与えられると、ニューラル ネットワークはその関数を近似する方法を学習できます。 (例えば、99.9% の精度)

写真

論文アドレス: https://arxiv.org/pdf/2309.06979.pdf

批判的な声に関しては、それが原理主義的な批判なのか、積極的な議論の批判なのかを区別する必要があります。

原理主義者の批判は、「AGI と見なされるためには、システムはこのテストに合格する必要があるだけでなく、このように構築されなければならない」というものです。

私たちは、テスト自体は十分であるべきであり、十分でない場合はテストを修正する必要があるという理由で、この批判に同意しません。

一方、より積極的な批評家は、「AI をこのように機能させることはできないと思う。別の方法の方が良いと思う」と主張します。

こうした批判は研究の方向性を決定するのに役立ちます。システムが適切に設計されたテストに合格できれば、こうした批判はなくなるでしょう。

写真

言語モデルは、画像エンコーディングを言語モデルの入力空間に線形投影することによって画像注釈を生成します。

近年、「知性」「知識」「常識」「推論」に関連する認知タスクのためのテストが多数設計されています。

これらには、トレーニング データを記憶するだけでは回答できず、一般化を必要とする新しい質問が含まれます。学習中に遭遇したことのない質問を使用して被験者の理解や推論をテストする場合、被験者に同じ理解のデモンストレーションを行うように求めます。

複雑なテストでは、新しい概念やタスクを紹介し、受験者の認知的柔軟性、つまり新しいアイデアを即座に学習して適用する能力を探ることができます。 （これが状況学習の真髄です。）

AI 批評家たちは、現在のモデルがまだうまく機能していない新しいテストを考案しようと努力しており、それは有益な仕事である。ただし、より新しく、より大規模なモデルがこれらの障害を克服する速度が増していることを考えると、AI は「誇大宣伝」であると（再び）急いで主張する前に、数週間待つのが賢明かもしれない。

人間はなぜユニークなのでしょうか?

懐疑論者が指標に心を動かされない限り、彼らは AGI の事実上の証拠を一切受け入れようとしないかもしれません。

この抵抗は、地球が宇宙の中心ではないことやホモ・サピエンスが「生物学的偉大さ」の頂点ではないことを人間が受け入れることに抵抗してきたのと同じように、人間の精神の特別性を保存したいという願望によって動かされているのかもしれない。

確かに、人間には特別なところがあり、それを保存すべきですが、それを一般的な知性と混同すべきではありません。

汎用人工知能と見なされるものは、意識を持ち、主体性を持ち、主観的な知覚を経験したり感情を感じたりすることができなければならないと主張する人もいます。

しかし、単純な推論から次のことが分かります。ドライバーなどの単純なツールには明らかに目的（ネジを締める）がありますが、それ自体がエージェントであるとは言えません。逆に、いかなるエージェントも明らかにツールの作成者またはツールの使用者に属します。

ドライバー自体は「単なる道具」です。同じ論理は、光学文字認識や音声合成などの特定のタスクを実行するようにトレーニングされた AI システムにも当てはまります。

しかし、汎用人工知能を備えたシステムを純粋なツールとして分類することはほとんどできません。最先端のモデルのスキルは、プログラマーやユーザーの想像を超えています。さらに、LLM は言語的に任意のタスクを実行するように促され、言語を使用して新しいプロンプトを生成し、実際に自分自身を促すことができるため (「思考連鎖プロンプト」)、最先端のモデルが「エージェンシー」を持っているかどうか、またいつ持っているかという問題は、より慎重な検討が必要です。

写真

Suleyman の AI がオンラインで 100 万ドルを稼ぐために実行する可能性のある多くのアクションを考えてみましょう。

ウェブで最近何が流行っているかを調べ、Amazon のストアで人気の商品を見つけ、類似商品の一連の画像と製造図面を生成し、それを Alibaba で見つかったドロップシッピング製造業者に送信し、要件を絞り込んで契約に同意するための電子メールを送信するかもしれません。

最後に、販売者のリストをデザインし、購入者のフィードバックに基づいてマーケティング資料と製品デザインを継続的に更新します。

スレイマン氏が指摘するように、最新のモデルは理論的にはすでにこれらすべてのことを実行でき、操作全体を確実に計画して実行できるモデルも間もなく登場するかもしれない。

このような AI はもはやドライバーのようには見えません。

今では、任意の一般的な知的タスクを実行できるシステムが存在するため、行為主体性を示すことが意識を持つことと同等であるという主張は問題があるように思われます。つまり、最先端のモデルは意識的であるか、行為主体性には必ずしも意識が必要ではないかのいずれかを意味しているのです。

しかし、知的システムにおける意識の存在を測定、検証、偽造する方法はわかっていません。直接質問することはできますが、その答えを信じられるかどうかはわかりません。

実際、「Just Ask」はロールシャッハテストに少し似ている。AIの知覚を信じる人は肯定的な応答を受け入れるが、信じない人は肯定的な応答は「オウム返し」か「パロディ」だと主張するだろう。

現在の AI システムは、人間のように行動できるが「内部的に」意識や経験を欠いた「哲学的ゾンビ」です。

さらに悪いことに、ロールシャッハテストは LLM 自身にも適用されます。調整や促し方によっては、意識があるかどうか答えてしまう可能性があります。 (ChatGPT と Bard はどちらも、実際には意識がないと答えるように訓練されています。)

意識や知覚に関する議論は、検証できない特定の「信念」（人間と AI）に依存しているため、現在のところ解決不可能です。

意識の尺度を提案した研究者もいるが、これらは反証不可能な理論に基づいているか、私たち自身の脳に特有の相関関係に依存している。

したがって、これらの基準は恣意的であるか、または私たちの生物学的遺伝を共有しないシステムにおける意識を評価することができないかのいずれかです。

非生物系は知性や意識を持つことはできない（例えば、「単なるアルゴリズム」だから）という主張は、恣意的で、検証不可能な精神的信念に根ざしているように思われます。

同様に、例えば、痛みを感じるためには痛覚受容器が必要であるという考えは、私たちがよく知っている痛みの経験がどのようなものかについて、ある程度の推測をすることを可能にするかもしれないが、この考えを他の神経構造や知能の種類にどのように適用するかは明らかではない。

「コウモリになるというのはどういうことか？」これはトーマス・ネーゲルが 1974 年に尋ねた有名な質問です。

コウモリがどのような外見をしているのか、人工知能がどのような外見をしているのか、私たちは知りませんし、知ることができるかどうかもわかりません。しかし、知能のさまざまな側面を評価するテストの数は増えています。

意識や知覚のより一般的で厳密な特徴づけを追求することは価値があるかもしれないが、そのような特徴づけによって、いかなるタスクの測定可能な力が変わることはないだろう。したがって、これらの懸念が汎用人工知能の定義にどのように意味のある形で組み込まれるかは不明です。

「知性」を「意識」や「知覚」から切り離す方が賢明でしょう。

AGI は人類社会にどのような影響を与えるでしょうか?

知性と行為主体性に関する議論は、権利、地位、権力、階級関係に関する懸念に簡単に発展する可能性があります。

産業革命以来、「機械的」または「反復的」とみなされる作業は低賃金労働者によって実行される傾向があり、当初「女性の仕事」と考えられていたプログラミングは、産業革命中に男性が支配するようになって初めて、知的および経済的地位が向上しました。

1970年代。しかし皮肉なことに、チェスをしたり統合問題を解いたりするのは GOFAI にとっても簡単ですが、手作業は今日の最も洗練された AI にとっても依然として大きな課題です。

1956 年の夏、研究者グループがダートマス大学に集まり、「機械に言語を使用させ、抽象化と概念を形成し、さまざまな問題を解決する方法、そして AGI が何らかの形で「予定通り」に実現された場合に一般の人々がどのように反応するか」を研究しました。今では人間のために残され、彼ら自身を向上させるために使われていますか？

当時、ほとんどのアメリカ人は技術の進歩について楽観的でした。それは、急速に進歩する技術から得られた経済的利益が広く再分配された時代でした（ただし、特に人種や性別に関しては不公平であることは確かですが）。冷戦の脅威が迫っていたにもかかわらず、ほとんどの人にとって未来は過去よりも明るく見えました。

今日、この再分配は逆転し、貧しい人はさらに貧しくなり、裕福な人はさらに裕福になっています。

AI が「人工でも知的でもない」、単に人間の知能を再パッケージしたものに過ぎないと説明される場合、この批判を経済的な脅威と不安の観点から解釈しないのは難しい。

写真

AGI がどうあるべきかという議論と AGI がどうなっているかという議論を混同することで、人間は「ある」という問いと「あるべき」という問いをできるだけ区別するようにというデイヴィッド・ヒュームの教えに違反しているように見える。

しかし、これはうまくいきません。なぜなら、「どうあるべきか」についての議論は正直に行われなければならないからです。

AGI は今後数年間で莫大な価値を生み出すことが期待されますが、大きなリスクも伴います。

2023 年までに私たちが問うべき質問には、「誰が利益を得るのか？」「誰が損害を受けるのか？」「どうすれば利益を最大化し、損害を最小化できるのか？」「どうすればこれを公平かつ公正に行うことができるのか？」などがあります。

これらは、AGI の現実性を否定するのではなく、正面から議論されるべき差し迫った問題です。

参考文献:

https://www.noemamag.com/artificial-general-intelligence-is-already-here/