Googleの新しい論文によると、「AIは人間を超えようとしている」というのはまだ現実的ではなく、AIにも限界がある

11月8日、Googleの研究者3人がプレプリントライブラリ（ArXiv）に最近提出した論文の中で、人工知能分野の基礎技術であるディープニューラルネットワークトランスフォーマーは、帰納的学習と一般化が得意ではないと指摘した。

Transformer は、ChatGPT などの AI ツールの背後にある大規模な言語モデルの基盤です。 「事前トレーニングデータの範囲を超えたタスクや機能が要求されると、トランスフォーマーはさまざまな障害モードを示し、単純なタスク外挿でさえも一般化能力が低下することがわかった」と、著者のスティーブ・ヤドロウスキー、リリック・ドーシ、ニレシュ・トリプラネニは11月1日にArXivに提出された新しい論文に書いている。

論文によると、ディープニューラルネットワークトランスフォーマーはトレーニングデータに関連するタスクの実行に優れていますが、この範囲外のタスクの処理はあまり得意ではありません。

汎用人工知能（AGI）の実現を目指す人にとって、この問題は無視できません。汎用人工知能とは、人間ができることなら何でもできる仮想の人工知能を表すために技術者が使用する用語です。現状では、AI は特定のタスクを実行するのに非常に優れていますが、人間のように領域間でスキルを転送することはできません。

ワシントン大学のコンピューター科学および工学の名誉教授ペドロ・ドミンゴス氏は、この新たな研究は「現時点では人工知能の到来に夢中になりすぎるべきではない」ことを意味すると述べた。

AGI は人工知能の分野における究極の目標として宣伝されており、理論的には人間が自分たちと同じかそれ以上に賢いものを作り出すことを意味します。多くの投資家や技術者がこれに多大な時間と労力を費やしています。

月曜日、OpenAIのCEOサム・アルトマン氏はマイクロソフトのCEOサティア・ナデラ氏とともにステージに上がり、「AGIを構築するために協力する」というビジョンを改めて表明した。

この目標を達成するということは、未知のシナリオへの適応、類推の作成、新しい情報の処理、抽象的な思考など、人間の脳が実行できる多くの帰納的タスクを AI が実行できるようにすることを意味します。

しかし、研究者が指摘するように、テクノロジーが「単純なタスクの拡張」さえ達成できないのであれば、私たちの目標は明らかに程遠いものとなる。

「この論文は大規模言語モデルに関するものではなかったが、大規模言語モデルの限界を多くの人々が受け入れるという共通の信念を打ち砕く最後の一撃となったようだ」とプリンストン大学のコンピューターサイエンス教授、アルビンド・ナラヤナン氏はソーシャルメディアプラットフォームXに書いた。「目を覚ます時が来た」

エヌビディアの上級AI科学者ジン・ファン氏は、「トランスフォーマーは万能薬ではない」のに、なぜこの論文の発見が人々を驚かせるのか疑問を呈した。

ドミンゴス氏は、この研究は、AGIへの道として宣伝されてきた技術の可能性について「多くの人が非常に困惑している」ことを浮き彫りにしたと述べた。

同氏はさらに、「これは最近発表された論文であり、誰が驚き、誰が驚かないかが興味深い」と付け加えた。

ドミンゴス氏は、トランスフォーマーが高度な技術であることを認めながらも、多くの人がこれらのディープニューラルネットワークが実際よりもはるかに強力だと考えていると考えています。

「問題は、ニューラルネットワークが非常に不透明であり、これらの大規模な言語モデルが想像を絶するほどの膨大な量のデータでトレーニングされているため、多くの人が何ができて何ができないのかについて非常に混乱しているということです」と彼は言いました。「彼らは奇跡を起こすことができると思い始めます。」

より高度な AI は一般化の能力が向上する可能性があります。 Google の研究者は、より主流の GPT-4 スケール モデルではなく、GPT-2 スケール モデルを研究に使用しました。

人工知能スタートアップ企業Lamini AIのCEO、シャロン・ゾウ氏は、トランスフォーマーを一般化することの難しさは問題ではないと考えている。

「だからこそ私は、モデルに質問するだけでなく、新しいことを学べるようトレーニングする会社を立ち上げたのです」と彼女は語った。 「それらは依然として非常に有用であり、ガイドや調整が可能です。」