Google PaLM モデルも素人によって覚醒したと宣言されましたか?業界関係者：Rational テストは GPT よりわずか 3% 優れている

「汎用人工知能」は、今や2020年代の「水から石油」の技術になりつつあります。ほぼ2週間ごとに、大規模モデルの性能が人間の本性を呼び覚まし、AIが「生き返った」という発見/確認が発表されています。 最近この種のニュースに最も影響を受けている企業はGoogleです。元研究者のブレイク・ルモワン氏が大規模言語モデルLaMDAは「生きている」と発言したことは広く知られており、この人物は当然ながら解雇のプロセスに入った。

実際、ほぼ同時期に、The Atlantic Monthly に Google による準広告記事が掲載され、別の新しい大規模言語モデルである PaLM も「真の汎用人工知能」になったと書かれていました。

アトランティック・マンスリー誌は、PaLMをAGIであると強制的に宣言した。

しかし、この記事を読んだ人はほとんどいなかったため、議論や批判はほとんど起こりませんでした。

しかし、たとえ世界的雑誌が世界的企業について書いた記事を、もはや誰も読まなくなったとしても、それは昔の映画のセリフのように「闇夜の蛍のように、とても鮮やかで、とても目立つ…」というものだ。2022年6月19日、アトランティック・マンスリー誌は「人工意識は退屈だ」と題する記事を掲載した。

The Atlantic Monthly のこの記事のウェブ タイトルは、記事のタイトルよりも率直で、さらに示唆に富んでいます。「Google の PaLM AI は意識よりもはるかに奇妙である」

予想通り、内容は、Google Brain の PaLM プロジェクト チームのメンバーへのインタビュー後の著者からの賞賛に満ちています。5,400 億のパラメータがあり、事前のトレーニングなしで何百もの異なるタスクを完了できます。ジョークを言ったり、文章を要約したりできる。 ユーザーがベンガル語で質問を入力した場合、PaLM モデルはベンガル語と英語の両方で応答できます。

ユーザーがコードの一部を C から Python に翻訳することを要求した場合も、PaLM モデルはそれを迅速に完了できます。 しかし、この記事は、ソフト記事と疑われた自慢のインタビュー記事から、次第に、PaLMモデルが「真の汎用人工知能」であると宣言する自慢記事へと変化していきました。

「この機能は開発者自身を驚かせ、パニックに陥らないためには一定の距離と知的な冷静さが必要です。PaLM は理性的に考えることができます。」

Google の大規模モデルが強制的に AGI であると宣言されたのは、今月で 2 回目です。 この主張の根拠は何ですか?この記事の著者によると、これは PaLM モデルが特別な事前トレーニングなしで「既成概念を破って」さまざまなインテリジェント タスクを解決できるためです。 さらに、PaLM モデルには「思考連鎖プロンプト」機能があります。簡単に言えば、問題解決のプロセスを分解し、説明して PaLM モデルに実演すると、PaLM が自ら正しい答えを導き出すことができます。

ジェフ・ディーン自身は、PaLMがAGIであるとは言っていない。

誇大宣伝と証拠のギャップは、まさに「ズボンを脱いでこれを読んでみろ」という感じだ。The Atlantic Monthly の著者も、調査をせずに人々にインタビューして記事を書く癖があることが判明した。

私がこう言う理由は、ジェフ・ディーン先生がチームを率いて PaLM モデルを立ち上げたとき、「思考連鎖プロンプト」機能を導入したからです。しかし、Google Brain は、この製品が生き返​​った「ターミネーター」であると決して自慢することはないだろう。 2021 年 10 月、Jeff Dean が新しい機械学習アーキテクチャである Pathways を紹介する記事を個人的に執筆しました。 目的はシンプルです。AI が数万のタスクに対応し、さまざまな種類のデータを理解し、極めて高い効率で次のことを実現できるようにすることです。

半年以上経った2022年3月、ジェフ・ディーン氏はついにPathways論文を発表しました。論文アドレス: https://arxiv.org/abs/2203.12533 、最も基本的なシステムアーキテクチャなど、多くの技術的な詳細が追加されています。

2022年4月、GoogleはPathwaysシステムを使用して構築されたPaLM言語モデルを発表しました。5,400億のパラメータを持つこのTransformer言語モデルは、複数の自然言語処理タスクのSOTAを破りました。 この論文では、強力な Pathways システムの使用に加えて、PaLM のトレーニングには 6144 個の TPU v4 と 7800 億トークンの高品質データセットが使用され、そのうち 22% が英語以外の多言語コーパスであったことが紹介されています。

論文アドレス: https://arxiv.org/abs/2204.02311 「自己教師あり学習」と「思考チェーンプロンプト」は、AI 業界ではすでによく知られた概念です。PaLM モデルは、これらの概念をさらに一歩進めて具体化したものです。 さらに悪いことに、Atlantic Monthly の記事では、「Google の研究者は、なぜ PaLM モデルがこの機能を実現できるのか明確に理解していない」と直接述べられています... これは、Google が Jeff Dean 教授があまりにも怠け者だと思って、彼に何かやらせようとしているかのようです。

批評家：アトランティック誌の主張は信頼できない

案の定、カリフォルニア州サンタフェ研究所のメラニー・ミッチェル教授は、自身のソーシャルメディアアカウントに一連の投稿を投稿し、アトランティック誌の記事を暗に、しかし断固として疑問視した。

メラニー・ミッチェル氏は次のように述べた。「これは興味深い記事ですが、著者はGoogleの研究者以外のAI専門家にインタビューしていないのではないかと思います。

たとえば、PaLM モデルが「真の AGI」であると主張するさまざまな証拠があります。私自身は PaLM を使用する許可を得ていませんが、Google が 4 月に発表した論文では、少数のベンチマーク テストでのみ有意な小規模サンプル学習結果が示されました。ただし、PaLM の小規模サンプル学習テスト結果はすべて同じように堅牢であるわけではありません。

また、この論文では、テストで使用されたベンチマークのうち、難易度を簡素化するために「ショートカット学習」手法がどれだけ使用されたかについても触れられていない。 Atlantic Monthly の記事の文言によれば、PaLM は少なくとも、高い信頼性、高い汎用性、および一般的な精度でさまざまなタスクを完了できます。

しかし、この記事も Google の 4 月の論文も、汎用知能の観点から見た PaLM モデルの機能と限界については詳しく説明しておらず、この点に関する機能をテストするためのベンチマークについても言及していません。

そして、PaLM の合理的であると主張する部分は特に検証される必要があります。 GPT ファミリーに関する同様の主張は、オープンアクセスであるため、さまざまな実験を実行した業界関係者によって反証されています。 PaLM がそのような栄誉を受けるには、同じレベルの敵対的検証を受ける必要があります。

また、Google が 4 月の論文で告白したところによると、PaLM の合理的なベンチマーク テストは、業界内のいくつかの同様の SOTA モデルよりもわずかに優れているだけで、その利点はそれほど大きくありません。

最も重要な点は、PaLM の論文は査読されておらず、モデルは外部からのアクセスが許可されていないことです。すべての主張は単なる空論であり、検証、再現、評価することはできません。 「