ゲイリー・マーカスはヒントンとマスクを公然と非難した。「ディープラーニングは壁にぶつかった。10万ドル賭けるよ」

「もし誰かが（ディープラーニングが）壁にぶつかったと言うなら、ディープラーニングではできないことのリストを作るだけでいい。5年後には、ディープラーニングでそれができると証明できるだろう。」

6月1日、隠遁生活を送る老人ジェフリー・ヒントン氏が、カリフォルニア大学バークレー校のピーター・アビール教授のポッドキャストにゲストとして登場した。2人は90分間の会話で、マスクオートエンコーダー、AlexNet、スパイキングニューラルネットワークなど、あらゆる話題を語った。

番組の中でヒントン氏は、「ディープラーニングは行き詰まっている」という見方に明確に疑問を呈した。

「ディープラーニングは壁にぶつかった」という言葉は、著名なAI研究者ゲイリー・マーカス氏が3月に発表した記事から来ている。正確に言うと、彼は「純粋なエンドツーエンドのディープラーニング」はほぼ終わりを迎えており、AI分野全体が新たな道を見つけなければならないと考えています。

出口はどこにあるのでしょうか？ゲイリー・マーカス氏によれば、シンボル処理には明るい未来があるそうです。しかし、この見解はコミュニティで真剣に受け止められたことは一度もない。ヒントン氏は以前、「記号処理方法へのいかなる投資も大きな間違いだ」とさえ言っていた。

ポッドキャストでのヒントン氏の公開「反論」は、どうやらゲイリー・マーカス氏の注目を集めたようだ。

ちょうど12時間ほど前、ゲイリー・マーカスはジェフリー・ヒントンに宛てた公開書簡をツイートした。

手紙にはこう書かれていた。「ジェフリー・ヒントン氏が挑戦的な目標を探していることが分かった。アーニー・デイビス氏の協力を得て、私は実際にそのようなリストを書き出した。そして先週、マスク氏と10万ドルの賭けもした。」

マスク氏はここで何の用があるのでしょうか?その理由は5月末のツイートに遡ります。

マスクとの10万ドルの賭け

これまで、AGI は『宇宙の旅』（HAL）や『アイアンマン』（JARVIS）などの映画で描かれるような AI として理解されてきました。特定のタスク向けに訓練された現在の AI とは異なり、AGI は人間の脳に似たものとなり、タスクを完了する方法を学習できるようになります。

ほとんどの専門家は、AGI の実現には数十年かかると考えていますが、その目標は決して達成されないかもしれないと考える専門家もいます。この分野の専門家を対象とした調査では、2099年までにAGIが実現する可能性は50％であると推定されました。

対照的に、マスク氏はより楽観的であるようで、ツイッターでも「2029年は重要な年だ。その時までAGIが実現していないとしたら驚きだ。火星の人々も同じようになることを願っている」と公に表明している。

これに反対したゲイリー・マーカスは、すぐに「いくら賭けるつもりですか？」と尋ね返した。

マスク氏はこの質問には答えなかったが、ゲイリー・マーカス氏はロングベッツで10万ドルの賭けが企画される可能性があると語り続けた。

ゲイリー・マーカス氏の見解では、マスク氏の見解はあまり信頼できるものではない。「例えば、マスク氏は2015年に、完全自動運転の実現には2年かかると発言しました。それ以来、ほぼ毎年同じことを言っていますが、現在、完全自動運転はまだ実現されていません。」

彼はまた、賭けの一環として、AGI が達成されたかどうかをテストするための 5 つの基準をブログに書きました。

• 2029 年には、AI は映画を読んで何が起こっているのか (登場人物は誰か、彼らの葛藤や動機は何かなど) を正確に伝えることはできません。
• 2029年には、AIは小説を読んで、プロット、登場人物、対立、動機などに関する質問に確実に答えることができなくなります。
• 2029年には、AIはどのキッチンでも有能なシェフになれなくなります。
• 2029 年には、AI は自然言語仕様や非専門家ユーザーとのやり取りから、10,000 行を超えるエラーのないコードを確実に構築できなくなります (既存のライブラリのコードを結合することはカウントされません)。
• 2029年には、AIは自然言語で書かれた数学文献からフォレンジック情報を任意に抽出し、記号検証に適した記号形式に変換することはできません。

「私のアドバイスは、もしあなた（または他の誰か）が2029年までに少なくとも3つを完了することができれば、あなたの勝ちです。いいですか？10万ドルはどうですか？」

参加者が増えたため、賭け金は50万ドルにまで増加した。しかし、現時点ではマスク氏は反応していない。

ゲイリー・マーカス: AGIはあなたが思っているほど近いものではない

6月6日、ゲイリー・マーカス氏は Scientific American 誌に記事を掲載し、AGI は差し迫っていないという自身の見解を繰り返し述べた。

一般の人にとっては、人工知能の分野で大きな進歩が遂げられているように見えるかもしれません。メディアの報道によると、OpenAIのDALL-E 2はどんなテキストでも画像に変換できるようで、GPT-3はすべてを知っており、DeepMindが5月にリリースしたGatoシステムはあらゆるタスクで優れたパフォーマンスを発揮するとのこと...DeepMindの上級幹部は、人間と同じレベルの知能を持つAIである汎用人工知能（AGI）の追求を開始したと自慢していたほどだ...

騙されないでください。機械は将来、人間と同じくらい、あるいはそれ以上に賢くなるかもしれないが、まだそうではない。現実世界を真に理解し推論する機械を作成するには、まだやるべきことがたくさんあります。今、私たちに本当に必要なのは、派手な宣伝ではなく、基礎研究の強化です。

確かに、AI はいくつかの分野で進歩を遂げています。合成画像はますますリアルになり、音声認識は騒がしい環境でも機能します。しかし、一般的な人間レベルの AI にはまだまだ程遠い状態です。人間レベルの AI では、記事や動画の内容を理解したり、予期しない障害や中断に対処したりすることはまだできません。私たちは、AI が長年抱えてきた同じ課題、つまり人工知能の信頼性を高めるという課題に今も直面しています。

ガトー氏を例にとると、ピッチャーが野球ボールを投げている画像にキャプションを付けるというタスクを与えられたとき、システムは「野球場で投球する野球選手」「野球場でピッチャーに野球ボールを投げる男性」「野球の試合でバッティングする野球選手とキャッチャー」という3つの異なる回答を返した。最初の答えは正解ですが、他の 2 つには画像に写っていない追加のプレーヤーが含まれているようです。これは、Gato システムが画像の実際の内容を認識しておらず、ほぼ類似した画像の典型的な内容を学習していることを示唆しています。野球ファンなら誰でも、これがボールを投げたばかりのピッチャーだとわかるだろう。キャッチャーとバッターが近くにいるはずだが、画像には彼らが明らかにいない。

同様に、DALL-E 2 は、「赤い立方体が青い立方体の上にある」と「青い立方体が赤い立方体の上にある」という 2 つの位置関係を混同しています。同様に、Googleが5月にリリースしたImagenモデルでは、「馬に乗る宇宙飛行士」と「宇宙飛行士に乗る馬」を区別できなかった。

DALL-E のようなシステムが故障すると面白いと思うかもしれませんが、一部の AI システムは故障すると非常に深刻な問題を引き起こす可能性があります。たとえば、最近、自動運転のテスラ車が道路の真ん中で一時停止の標識を掲げていた作業員に直撃し、人間の運転手が介入して減速しなければならなかった。自動運転システムは人間と一時停止標識を個別に認識できたが、両者の異常な組み合わせに遭遇したときには減速できなかった。

そのため、残念ながら、AI システムはまだ信頼性が低く、新しい状況に迅速に適応することが困難です。

Gato は DeepMind が報告するすべてのタスクで優れたパフォーマンスを発揮しますが、他の最新システムと同等のパフォーマンスを発揮することはめったにありません。 GPT-3 は流暢な文章を書くことが多いものの、基本的な算術には苦労しており、現実を把握するのが非常に苦手なため、「靴下を食べると脳の状態が変化すると一部の専門家は信じている」といった奇妙な文章を簡単に生成してしまうことがあります。

この背後にある問題は、人工知能の分野における最大の研究チームがもはや学術機関ではなく、大手テクノロジー企業であるということだ。大学とは異なり、企業には公正に競争するインセンティブがありません。彼らの新しい論文は学術的な審査を受けずに出版され、メディアの注目を集め、査読を回避しています。私たちが得る情報は、企業自体が私たちに知らせたい情報だけです。

ソフトウェア業界では、このビジネス戦略を表す特別な用語として「デモウェア」があります。これは、ソフトウェアの設計がデモンストレーションには適しているが、必ずしも実際の使用に適しているわけではないことを意味します。

このように販売された AI 製品は、実際にはうまくリリースされないか、まったくの失敗に終わるかのどちらかです。

ディープラーニングは、データ内のパターンを認識する機械の能力を向上させますが、学習されたパターンが概念的というよりは表面的であること、生成された結果を説明するのが難しいこと、一般化が難しいことという 3 つの大きな欠陥があります。ハーバード大学のコンピューター科学者レス・ヴァリアント氏は次のように指摘しています。「将来の中心的な課題は、AI における学習と推論の形式を統一することです。」

現在、企業は新しいアイデアを生み出すよりもベンチマークを上回ることを追求し、より根本的な問題について立ち止まって考えるのではなく、既存の技術で小さな​​改善を追求する傾向にあります。

派手な製品デモンストレーションを追い求めるのではなく、「学習と推論を同時に行うことができるシステムを構築するにはどうすればよいか」といった根本的な疑問を問う人々がもっと必要です。

AGI に関する議論はまだ終わっておらず、他の研究者も参加しています。研究者のスコット・アレキサンダー氏は自身のブログで、ゲイリー・マーカス氏は伝説的な人物であり、彼が過去数年間に書いたものは多かれ少なかれ完全に正確ではないが、それでも価値があると指摘した。

たとえば、ゲイリー・マーカスは以前、GPT-2 のいくつかの問題を批判していました。8 か月後、GPT-3 が誕生したとき、これらの問題は解決されました。しかし、ゲイリー・マーカス氏はGPT-3に容赦せず、「OpenAIの言語ジェネレーターは自分が何を言っているのか分からない」という記事まで書いた。

本質的に、この議論は現時点では真実です。「ゲイリー・マーカスは大規模言語モデルについて大騒ぎしましたが、大規模言語モデルはどんどん良くなっていき、この傾向が続けば、AGI はすぐに実現されるでしょう。」