GPT-4を粉砕せよ！ Google DeepMind CEOが明かす：次世代の大規模モデルはAlphaGoと統合される

Googleは本当に全力を尽くしています。

AlphaGoとGPT-4に似た大規模モデルを組み合わせた伝説のGeminiがついに登場か？

1 つは強化学習を使用して人間の囲碁チャンピオンを破り、歴史に名を残した AI システムです。もう 1 つは、現在ほぼすべてのビッグ モデル リストを独占し、他のモデルをはるかに上回る最強のマルチモーダル ビッグ モデルです。この 2 つの AI を組み合わせると、無敵になります。

写真

Google DeepMindのCEO、ハサビス氏は最近、海外メディアWiredに対し、Geminiはまだ開発中で数か月かかるが、Google DeepMindは数千万ドル、あるいは数億ドルを投資する準備ができていると語った。

以前、サム・アルトマンは、GPT-4 の作成コストが 1 億ドルを超えたことを明らかにしました。もちろん、Google DeepMind も負けるはずはありません。

長すぎて読めない

Gemini は、AlphaGo や GPT-4 などの大規模モデルの言語機能を統合し、システムの問題解決および計画機能が大幅に強化されます。

• GeminiはGPT-4に似た大規模言語モデルです。
• 費用は数千万から数億ドルかかると予想されており、これはGPT-4の開発費用に匹敵します。
• AlphaGoに加えて、他の革新もあるだろう

Gemini は強化学習とツリー探索を使用する AlphaGO を統合します。

• 強化学習により、AI は繰り返しの試行とフィードバックから学習して困難な問題を解決できるようになります。
• ツリー検索法は、ゲームシーンなどのシーン内で可能な動きを探索して記憶するのに役立ちます。

DeepMind の強化学習における豊富な経験が、Gemini に新しい機能をもたらします。

• 他の技術分野（ロボット工学や神経科学など）もジェミニに統合される。

ChatGPTを超える次のアルゴリズム

OpenAIのCEO、サム・アルトマン氏によると、GPT-5のリリースにはまだ時間がかかり、トレーニングは少なくとも6か月は開始されないとのことだ。 Gemini の発売日はまだ決まっていませんが、数か月以内になる可能性があります。

まだ開発中の Gemini も、GPT-4 と性質が似ている、テキストを処理するための大規模な言語モデルです。

しかし、グーグル・ディープマインドCEOのデミス・ハサビス氏は、ジェミニはアルファ碁で使用されている技術と統合され、システムに新たな計画および問題解決能力を与えるだろうと述べた。

2016年にアルファ碁が囲碁の世界チャンピオン、イ・セドルを破った場面は、今でも私たちの記憶に鮮明に残っている。

写真

ハサビス氏は、「ジェミニは、アルファ碁システムの利点と大規模言語モデルの驚くべき言語能力を組み合わせたものだと言えます。さらに、他にも興味深い革新がいくつかあるのです」と語った。

Gemini は、以前のモデルにはなかったマルチモーダル機能を備えており、ツールと API の統合が非常に効率的であると言われています。さらに、Gemini は複数のサイズで提供され、メモリとスケジューリングの将来の革新をサポートするように設計されています。

3月には、Gemini は GPT-4 のように 1 兆個のパラメータを持つだろうという主張がありました。さらに、Gemini はトレーニングに数万個の Google TPU AI チップを使用すると言われています。

写真

先月の Google Developer I/O カンファレンスで、Google は当初から Gemini の目標はマルチモーダルであり、ツールと API を効率的に統合することだと述べました。

当時の Google のプレビューは、「まだ初期段階ではありますが、Gemini にはこれまでのモデルには見られなかったマルチモーダル機能が搭載されており、非常に印象的です」というものでした。

AlphaGo の背後にある技術は強化学習であり、これは DeepMind によって最初に開発されました。

写真

RL エージェントは時間の経過とともに環境と対話し、試行錯誤を通じて長期的な累積報酬を最大化するポリシーを学習します。

強化学習を通じて、AI は試行錯誤を繰り返し、フィードバックを受け取ることでパフォーマンスを調整し、囲碁やビデオゲームで次の一手を選ぶといった難しい問題に取り組むことを学習します。

さらに、AlphaGo はモンテカルロ木探索 (MCTS) 方式を使用して、盤上のすべての可能な動きを探索して記憶します。

写真

ハサビス氏がテクノロジー大手の間で大規模なAIゴールドラッシュを巻き起こしたのは今回が初めてではない。

2014年、DeepMindは強化学習を使用して、AIに簡単なビデオゲームをプレイすることを教えました。この成果は非常に素晴らしく、DeepMindはGoogleに買収されました。

Google の賭けは正しかった。

その後数年間、DeepMind は時折世界を驚かせる成果を生み出しました。

写真

ディープラーニングと強化学習は、論理、推論、知識表現など、多くの古典的な AI の問題を解決しています。

2016年、画期的なAlphaGoがディープラーニングブームとAI産業の第一ラウンドを直接的に引き起こしました。

2017年、AlphaGo Zeroは人間のデータを一切使用せずにあっという間にAlphaGoを上回りました。

写真

アルファ碁ゼロ

2020年、AlphaFoldのタンパク質構造予測は実験室技術に匹敵し、タンパク質の折り畳みの問題を基本的に解決しました。

今年 6 月、AlphaDev は、コンピューター サイエンスの効率と結果を完全に変える可能性のある新しいソート アルゴリズムを作成しました。

OpenAI のより一般的なアプローチと比較して、DeepMind は長年にわたり垂直分野に深く関わってきました。

言語モデリングにおける次の大きな飛躍はどこにあるのでしょうか?ジェミニは次世代の言語モデルへの道を示すものとなるかもしれません。

ラストスタンド

Gemini が Google の最後の抵抗であることは明らかです。

Transformer アーキテクチャなど、Google が先駆けて開発した多くのテクノロジーが、最近の AI ブームを可能にしました。

技術の開発と展開に慎重すぎるため、ChatGPTや他の生成AIとの競争に一時的に遅れをとっているように見えます。

GoogleはChatGPTに対抗するため、Bardの立ち上げや、検索エンジンやその他の製品への生成AIの統合など、次々と対策を打ち出している。

写真

Googleは4月、主要なタスクに集中するため、ハサビス氏のDeepMindとGoogleの主要な人工知能研究所であるGoogle BrainをGoogle DeepMindに統合した。

ハーサビス氏は合併後の新チームに非常に自信を持っているようだ。同氏は、この新しいチームは人工知能の最近の進歩に極めて重要であった2つの力を結集すると述べた。

「人工知能の現状を見ると、将来のイノベーションの80％または90％はこれらのグループのいずれかから生まれるだろうと確信できます。両グループとも過去10年間で非常に優れた成果を上げてきました。」

新しいアイデア

OpenAI の GPT-4 のような大規模な言語モデルをトレーニングするには、書籍、Web ページ、その他のソースから収集した大規模な厳選されたデータセットを Transformers に入力する必要があります。

Transformer はトレーニング データ内のパターンを使用して、後続のテキストに表示されるすべての文字と単語を予測できるようになります。

この一見単純なメカニズムは、質問に答えたり、テキストやコードを生成したりするのに非常に強力です。

しかし、この一見単純な技術原理は、多くの業界リーダーや人工知能の専門家からも批判されてきました。

写真

マスク氏：現在のAI技術の本質は統計学

写真

ルカン：現在のAIの知能レベルは犬の知能ほど良くない

OpenAI の GPT シリーズ モデルにおける画期的な点は、Transformer のコア テクノロジーに基づいて、RLHF を積極的に使用してモデルの機能を強化したことです。

DeepMind は強化学習においても豊富な経験を持っています。

これにより、ジェミニが将来発揮する革新的な能力に期待する十分な理由が生まれます。

さらに重要なことに、ハサビス氏と彼のチームは、大規模な言語モデルの機能を強化するために、人工知能の他の分野の中核技術も活用しようとしている。

DeepMind の技術的蓄積は非常に広範囲にわたります。

ロボット工学から神経科学まで、彼らは幅広いツールを武器に選択することができます。

写真

たとえば、LeCun のような AI の巨人は、Transformer は言語モデルの機能をテキストの範囲に過度に制限していると述べています。

人間や動物が行うように、世界の物理的な経験から学ぶことは、人工知能を開発するための最善の解決策かもしれません。

おそらくジェミニによって、人工知能は他の方向でもその可能性を発揮するだろう。

不確かな未来

ハサビス氏は、未知で潜在的に深刻なリスクを管理しながら、グーグルの人工知能技術の開発を加速させる任務を負っている。

大規模言語モデルの急速な進歩により、多くの人工知能の専門家は、この技術がパンドラの箱を開け、人類社会に受け入れがたい代償を払わせることになるのではないかと懸念している。

ハサビス氏は、人工知能が人類社会にもたらす利益は計り知れないと述べた。

人類はこの技術を開発し続けなければなりません。

AI技術の開発を強制的に停止することは全く非現実的です。

しかし、これはハサビス氏と彼が率いるディープマインドが技術開発を無謀に進めることを意味するものではない。

結局のところ、GoogleとDeepMindがAI技術のリーダーシップの地位をOpenAIに譲った理由は、

その大きな理由は、私たちが AI の開発に対して「過度に責任感のある」態度をとってきたことにあります。

ネットユーザー：楽観的ではない

しかし、Google のこれまでの保守的な姿勢を考えると、ほとんどのネットユーザーは Gemini の今後のリリースについて悲観的であるようだ。

写真

この AGI のようなモデルはいつリリースされると思いますか?

写真

Google がこれをリリースすることは絶対にないだろうと 10 ドル賭けます。

写真

Google のプロジェクトに注目したことがある人なら、Google がしばらくは自慢していたものの、その後は何も発表せず、1 年後にプロジェクトをキャンセルしていることに気付くでしょう。

しかし、ネットユーザーは依然として、現在の大規模言語モデルに対する Google の貢献を認識しています。

写真

ネットユーザーA：OpenAIが使用する大規模言語モデル技術は、基本的にGoogleによって発明されたものです

ネットユーザーB：そうだね、でもテスラは金持ちになれないけど、エジソンはできるよ。

写真

このネットユーザーは、DeepMind が強化学習の経験を活かして大規模言語モデルで画期的な成果を達成するだろうと非常に楽観視しています。

しかし、彼は依然として、Google がこの技術を宣伝するために、まったく新しい製品を発売するのではなく、既存の製品を改良するというアイデアのみを使用する可能性があると考えています。