35年ぶりに証明されました！ NYU の主要発見が Nature に掲載: ニューラル ネットワークは人間のような一般化能力を持ち、1 つの例から推論を導き出し、GPT-4 を上回ることができる

認知科学、人工知能、言語学、哲学の研究者たちは、35年間にわたり、ニューラルネットワークが人間のような体系的な一般化を実現できるかどうかについて議論してきました。

具体的には、AI には人間のように「体系的な一般化」の能力がなく、訓練されていない知識に「推論を適用」することはできないと人々は常に信じてきました。何十年もの間、これが AI の最大の限界の 1 つと考えられてきました。

現在、ニューヨーク大学とスペインのポンペウ・ファブラ大学の研究者らが、それが可能であることを初めて実証しました。

彼らはこの方向で画期的な進歩を遂げ、その論文は『ネイチャー』誌に掲載されました。

論文リンク: https://www.nature.com/articles/s41586-023-06668-3#auth-Brenden_M_-Lake-Aff1

研究者らは、ニューラル ネットワークの新たなトレーニング方法である MLC (Meta-Learning for Compositionality) を提案しました。この方法により、ニューラル ネットワークの「1 つの例から推論を引き出す」能力が大幅に向上し、人間を超えることさえ可能になります。

人間が一つの例から推論を導き出し、複雑な言語や特定のスキルの意味を素早く把握できるのは、人間が「システム一般化」という能力を持って生まれているからです。

たとえば、「秦の始皇帝は赤ずきんを着て、おばあちゃんの家で勝つ」というフレーズを聞いたことがなくても、「秦の始皇帝の名前は嬰正」であり、「赤ずきん」の物語を知っていれば、この慣用句を理解し、適切な場所で使用することができます。

しかし、GPT-4 のような高度な AI モデルであっても、「秦の始皇帝の名前は嬰正である」ということや「赤ずきん」の物語を知っていても、この慣用句を理解することはできません。

研究者らは、新しいニューラル ネットワーク トレーニング方法である MLC を使用して、変化するタスク環境でモデルをトレーニングし、モデルが複合語彙の意味を体系的に推論する能力を徐々に獲得できるようにしました。

結果は、MLC モデルが論理的な応答を行えるだけでなく、人間の偏見エラーのパターンを捉え、人間と機械の比較において驚くほど人間のような思考を実証できることを示しています。

実際、MLC でトレーニングされたモデルのシステム一般化能力は GPT-4 を上回っています。

論文の著者らはまた、子どもも自然な成長体験の中でMLCと同様の組み合わせとインセンティブメカニズムを持っているとすれば、人間の体系的な一般化能力の源を説明できると強調した。

この研究は人工知能と認知科学の両方に広範囲にわたる影響を及ぼす可能性がある。

これは、適切なアプローチをとれば、標準的なニューラル ネットワークが、人間の言語的思考の中核となる特徴である体系的かつ複雑な推論を実行する能力を獲得できることを示しています。

今日の最も強力な AI モデル (ChatGPT など) は多くの会話シナリオで機能しますが、トレーニングされていない知識を理解する能力はまだ不十分です。

ある程度、これはモデルの「幻覚」問題が効果的に解決されていないという事実につながっています。

LLM の限界に関して、著者らは「MCL を通じて体系的一般化 (SG) のより強力な機能を解き放つことで、大規模言語モデルが固有の欠陥を克服するのに役立つ可能性がある」と強調しています。

体系的な一般化を理解する

この研究における画期的な点は、体系的な一般化の概念にあります。私たち人間は、異なる環境にいるときに、新たに学んだ言葉を楽々と適応して使用する能力を持っています。

たとえば、「フォトボム」は、写真を撮っているときに突然写真の中に現れることを指す英語の俗語で、通常は注目を集めたり、ユーモラスな効果を生み出したりするために意図的に使用されます。

「フォトボム」という言葉を理解すれば、「ダブルフォトボム」や「Zoom 使用中のフォトボム」など、さまざまな状況でこの言葉をどのように使うかを本能的に理解できるようになります。

同様に、人間は「犬が猫を追いかける」という文の構造を理解すれば、「猫が犬を追いかける」という意味も簡単に理解できるようになります。

しかし、人間が本来持つ理解力と一般化能力は、人工知能にとって常に挑戦的な領域でした。

従来のニューラル ネットワークは AI 研究の主流ですが、理解と一般化の能力が欠けています。ニューラル ネットワークは新しい単語を組み込むためにのみ努力しますが、そうでない場合は大量のサンプルを使用した大規模なトレーニングが必要になります。

この限定的な一般化は、AI 研究者の間で何十年も議論の的となっており、ニューラル ネットワークが人間の認知プロセスを現実的に反映できるかどうかについて多くの議論を引き起こしています。

この論文では、研究者らは、ニューラル ネットワークが MLC (Meta-Learning for Compositionality) と呼ばれるシステムを通じて人間のようなシステム一般化を実現できるという証拠を示しています。

MLC は、一連の少数ショット合成タスクを通じて体系性を促進することを目的とした、研究者によって提案された最適化手順です (下の図 1 を参照)。

研究者らは、MLC が実践を通じてニューラル ネットワークの構成スキルをどのように向上できるかを示しました。

MLC は新しい単語 (またはルール システム) を習得し、それを体系的に使用しようとします。 「理解」を継続的に修正して更新した後、次の新しい単語に対してこのプロセスを繰り返すことができます。

研究者らが構築した MLC では、記号的な仕組みを追加せず、手作業で設計された内部表現や帰納的バイアスも加えず、一般的なニューラル ネットワークのみが使用されました。

対照的に、MLC は、高レベルのガイダンスや直接的な人間の例を通じて望ましい動作を指定する方法を提供します。その後、ニューラル ネットワークはメタ学習を通じて適切な学習スキルを開発する必要があります。

MLC の威力を実証するために、研究者らは同じシステム一般化テストで人間と機械のパフォーマンスを並べて評価しました。

具体的には、研究者らは疑似言語指導学習タスクで代数的または数学的概念を使用し、人間と機械学習システムがこれらの概念をどの程度理解し適用できるかをテストしました。

非常に曖昧な言語に対する人々の検出反応も研究されてきました。これらの言語プローブは、曖昧な情報に直面したときの人間の傾向や偏見を理解するように設計されています。

つまり、人間がどのように帰納的推論を行うのか、そしてこれらの傾向や偏見がどのように体系的な一般化を促進または妨げるのかということです。

研究者たちは結果を評価した結果、MLC が人間レベルのシステム一般化を達成した (あるいはそれを上回った) ことを発見しました。

MLC は、人間の行動が純粋な代数的推論から逸脱した場合に、人間のようなエラー パターンも生成します。

これは、ニューラル ネットワークが、微妙な人間の組合せ行動をモデル化する優れたツールであることを示唆しています。

最後の一連のシミュレーションでは、研究者らは、MLC が少数ショットのシステム一般化を達成するための一般的なベンチマークの精度をどのように向上できるかを示しました。

詳細な研究

ニューラルネットワークの能力と言語一般化の可能性をより深く調査するために、著者らは、機械だけでなく、AIのパフォーマンスのベンチマークとしてクロスオーバーに参加した25人の人間も調査する包括的な実験を実施しました。

実験では、参加者が本当に初めて用語を学習していることを確認するために、疑似言語、つまり参加者に馴染みのない単語が使用され、一般化のパフォーマンスをテストするための妥当なベースラインが提供されました。

上図（左）に示すように、元のカテゴリには「dax、wif、lug」などの単語が含まれており、「jump、skip」のようにジャンプや跳躍などの基本的な動作を象徴しています（下図の左側）。

一方、「blicket、kiki、feg」などのより抽象的な機能語を使用すると、以前の基本語の用語の適用と組み合わせに関する規則が確立され、「skip twice、walk backwards」などのシーケンスが推測されます。

参加者のトレーニング中には視覚的な要素も導入され、それぞれの元の単語が特定の色の円に関連付けられました。

たとえば、以下に示すように、赤い円は「dax」を表し、青い円は「lux」を表します。

色と単語のマッピングルールを開発した後、参加者には色付きの円のパターンを伴った基本語と機能語の組み合わせが提示されました。

たとえば、「fep」というフレーズは 3 つの赤い円とペアになっており、「fep」がアクションの 3 回の繰り返しを表している可能性があることを示しています。

さらに、参加者の理解力と体系的な一般化能力を測定するために、参加者には基本語と機能語の適切な組み合わせが提示されました。参加者の課題は、円の色と数を正確に推測し、さらに正しい配置順序を示すことでした。

意味と専門家の意見

この研究は、AI 研究の歴史における単なる新たな進歩ではなく、パラダイムシフトを表しています。

ニューラル ネットワークのパフォーマンスは、人間のようなシステムの一般化能力を厳密に反映しており、学者や業界の専門家から幅広い注目を集めています。

ジョンズ・ホプキンス大学の言語を専門とする著名な認知科学者、ポール・スモレンスキー博士は次のように述べています。

「トレーニング中にネットワークが体系的な機能を持つことを可能にする大きな進歩です。」

ネットワークを体系的に一般化するようにトレーニングできれば、これらのモデルはチャットボットから仮想アシスタントに至るまでのアプリケーションに革命をもたらす可能性があります。

しかし、この進展は単なる技術的な進歩ではなく、AI コミュニティにおける長年の議論に関係しています。

「ニューラルネットワークは本当に人間の認知を正確にシミュレートするツールと言えるのでしょうか？」

この疑問は、AI 研究者の間で 40 年近くにわたって終わりのない議論の的となってきました。ニューラルネットワークには人間のような思考プロセスをシミュレートする可能性があると考える人がいる一方で、特に言語の一般化の分野における、ニューラルネットワークの固有の限界について懐疑的な人もいます。

この研究の結果は新たな希望をもたらし、人々にさらに楽観的な気持ちをもたらします。

ニューヨーク大学の認知コンピューティング科学者で、この研究の共著者であるブレンデン・レイク氏は、ニューラルネットワークはこれまで進歩するのに苦労してきたかもしれないが、適切なアプローチをとれば、人間の認知の側面をよりよく反映するように微調整し、訓練することは可能であると指摘している。

人間と機械のシームレスなコラボレーションの未来に向けて

AI は、初期の段階から現在の強さに至るまで、継続的な進化とブレークスルーを遂げてきました。言語を一般化するためのニューラル ネットワーク システムのトレーニングにおける最近の成果は、AI の無限の可能性を改めて証明しました。

現時点では、これらの進歩の幅広い応用を認識することが重要です。

私たちは、機械が人間の言語を理解するだけでなく、ニュアンスや意味も把握し、よりシームレスで直感的な人間と機械のインタラクションを実現する未来に少しずつ近づいています。