Google DeepMindが復讐のために力を合わせる！ジェフ・ディーンとハサビスが1万語の記事で2023年のジェダイの反撃を要約

Google DeepMind、論文を提出してください!

ちょうど今、ジェフ・ディーン氏とハサビス氏は共同で記事を発表し、2023年のGoogle ResearchとGoogle DeepMindの成果をすべてレビューしました。

今年の初め、世界的に人気のChatGPTと比べると、Googleは惨めに負けているように見えました。当時、OpenAIには数え切れないほどのホットマネーが流入し、OpenAIの市場価値と人気は瞬く間に前例のない高さまで急上昇しました。

4月、受動的な立場にあったGoogleは、究極のキラームーブを発表しました。Google BrainとDeepMindが正式に合併したのです！「キング・ネバー・ミーツ・キング」の2大部門が意外にも融合し、ジェフ・ディーン氏とハサビス氏がついに力を合わせた。

5月、GoogleはI/Oカンファレンスで前回の敗北の雪辱を果たした。最新の PaLM 2 は GPT-4 を超え、オフィスシステム全体がアップグレードされ、Bard は壮大なレベルに進化しました。

12月、Googleは深夜に復讐兵器Geminiをリリースした。最強のネイティブマルチモーダルがGPT-4を直接打ち負かした。製品デモには多少の捏造もあるが、Google が世界中のマルチモーダル研究を前例のないレベルにまで押し上げたことは否定できない。

Google の神々がどのように団結し、23 年にわたる復讐の戦いを開始したかを見てみましょう。

製品と技術の進歩

今年、生成 AI は正式に大きな爆発的な成長を遂げました。

2月にGoogleは、OpenAIが独自のAIチャットボットをリリースする2か月後に、緊急にBardをリリースした。

5月に、GoogleはI/Oカンファレンスで、言語モデルPaLM 2を含む、数か月から数年にわたる研究と成果を発表しました。コンピューティングに最適化された拡張機能、改善されたデータセットの組み合わせ、モデルアーキテクチャを組み合わせることで、非常に高度な推論タスクでも優れたパフォーマンスを実現します。

Google は、さまざまな目的に合わせて PaLM 2 を微調整し、改良した後、次のような多くの Google 製品や機能に統合しました。

1. 吟遊詩人

現在、Bard は 40 以上の言語と 230 以上の国と地域をサポートしています。Bard を使用すると、日常的に使用する Google ツール (Gmail、Google マップ、YouTube など) で情報を検索できます。

2. 検索生成エクスペリエンス（SGE）

LLM を使用して、情報の整理方法とユーザーの情報閲覧方法を再考し、Google のコア検索製品向けに、よりスムーズな会話型インタラクションモデルを作成します。

3. ミュージックLM

AudioLM と MuLAN を搭載したこのテキストから音楽を作成するモデルは、テキスト、ハミング、画像またはビデオ、音楽の伴奏、歌から音楽を作成できます。

4. デュエットAI

Google Workspace の Duet AI は、テキストの作成、画像の作成、スプレッドシートの分析、メールやチャットメッセージの下書きと要約、会議の要約などに役立ちます。 Google Cloud の Duet AI は、ユーザーがアプリケーションを作成、デプロイ、スケーリング、監視するだけでなく、サイバーセキュリティの脅威を特定して解決するのに役立ちます。

記事アドレス: https://blog.google/technology/developers/google-io-2023-100-announcements/

Google は昨年、テキストから画像を生成するモデル Imagen をリリースしましたが、今年 6 月には Imagen Editor をリリースしました。これにより、領域マスクと自然言語プロンプトを使用して生成された画像を編集できるようになり、モデル出力をより正確に制御できるようになります。

その後、Google は Imagen 2 をリリースしました。これは、適切な照明、フレーミング、露出、鮮明さに対する人間の好みを考慮した専用の画像美学モデルによって出力を改善しました。

Google は 10 月に、ユーザーがスピーキングを練習し、語学力を向上させるのに役立つ Google 検索の新機能をリリースしました。

この機能を実現するための鍵となる技術は、Google 翻訳チームと共同で開発された「Deep Aligner」と呼ばれる新しいディープラーニングモデルです。

隠れマルコフモデル (HMM) に基づくアライメント方法と比較して、この単一の新しいモデルにより、テストされたすべての言語ペアのアライメント品質が大幅に向上し、平均アライメントエラー率が 25% から 5% に減少しました。

11月、GoogleはYouTubeと提携し、これまでで最も先進的なAI音楽生成モデルであるLyriaをリリースした。

12月にGoogleは、これまでで最も強力かつ汎用的なAIモデルであるGeminiをリリースした。

Gemini は当初から、テキスト、オーディオ、画像、ビデオにわたるマルチモーダルモデルとして構築されました。

Gemini には Nano、Pro、Ultra の 3 つのサイズがあります。 Nano は、Pixel などの製品のデバイス内エクスペリエンスを強化するために使用される、最も小型で効率的なモデルです。 Pro モデルは強力で、タスク間のスケーリングに最適です。 Ultra モデルは、非常に複雑なタスクに適した、最大かつ最も強力なモデルです。

Gemini モデルの技術レポートによると、Gemini Ultra は、広く使用されている 32 の学術ベンチマークのうち 30 で最先端の結果を上回っています。

Gemini Ultra は 90.04% のスコアで、MMLU で人間の専門家を上回った最初のモデルであり、新しい MMMU ベンチマークで 59.4% という最高スコアを達成しました。

Google は AlphaCode を基に、プログラミングコンテストで平均レベルのパフォーマンスを達成した初の AI システムである Gemini の特殊バージョンを搭載した AlphaCode 2 をリリースしました。

オリジナルの AlphaCode と比較すると、AlphaCode 2 は 1.7 倍多くの問題を解き、参加者の 85% を上回る成績を収めました。

同時に、Gemini Pro モデルにより、Bard の理解、要約、推論、コーディング、計画の能力も大幅に向上しました。

Gemini Pro は、LLM の主要基準の 1 つである MMLU や、小学校の数学的推論を測定する GSM8K など、8 つのベンチマークのうち 6 つで GPT-3.5 を上回りました。

来年初めには、Gemini Ultra に Bard も導入される予定で、これは間違いなく新たな最先端の AI 体験の先駆けとなるでしょう。

また、Gemini Pro は、テキスト、コード、画像、ビデオ情報を処理するアプリケーションを開発者が構築できるようにする Google Cloud のエンドツーエンド AI プラットフォームである Vertex AI でも利用できます。

テキスト、コード、画像、ビデオ情報を処理できるアプリケーション。 Gemini Pro も 12 月に AI Studio でリリースされました。

ご覧のとおり、Gemini でできることには、以下のものが含まれますが、これらに限定されません。

科学文献から洞察を引き出しましょう。

競技プログラミングが得意。

生のオーディオを処理して理解します。

ジェミニはなぜこの料理がまだ調理されていないのか答えることができます：卵が生だからです

数学と物理学の推論を説明します。

ユーザーの意図を理解し、カスタマイズされたエクスペリエンスを提供します。

機械学習/AI

Google は今年、製品やテクノロジーの進歩に加え、機械学習や AI 研究の幅広い分野でも多くの重要な進歩を遂げました。

今日の最も高度な機械学習モデルの中核となるアーキテクチャは、2017 年に Google の研究者によって開発された Transformer アーキテクチャです。

Transformer は当初言語用に開発されましたが、コンピュータービジョン、オーディオ、ゲノミクス、タンパク質の折り畳みなど、さまざまな分野で非常に有用であることが証明されています。

今年、Google のビジュアルトランスフォーマーの拡張作業により、さまざまな視覚タスクで SOTA が達成され、より強力なロボットの構築にも使用できるようになりました。

モデルの汎用性を拡大するには、より高レベルかつ多段階の推論を実行する能力が必要です。

今年、Google はいくつかの研究を通じてその目標に近づきました。

たとえば、アルゴリズムプロンプトの新しい方法では、一連のアルゴリズム手順を示すことで言語モデルに推論を教え、モデルはそれを新しいコンテキストに適用できます。

このアプローチにより、中学校の数学のベンチマークの正確さが 25.9% から 61.1% に向上しました。

アルゴリズムのヒントを提供することで、文脈学習を通じてモデルに算術ルールを教えることができる。

視覚的な質問応答の分野では、Google はカリフォルニア大学バークレー校の研究者と協力し、視覚モデルと言語モデルを組み合わせて、「馬車は馬の右側にありますか?」などの複雑な視覚的な質問に適切に回答できるようにしました。

CodeVQA アプローチの図解。まず、大規模言語モデルは、質問を表す視覚化関数を呼び出す Python プログラムを生成します。この例では、質問の一部に回答するために単純な VQA アプローチが使用され、言及されたオブジェクトの場所を見つけるためにオブジェクトロケーターが使用されます。次に、プログラムはこれらの関数の出力を組み合わせて、元の質問に対する回答を生成します。

言語モデルは、合成プログラムを介して多段階の推論を実行し、視覚的な質問に答えるようにトレーニングされます。

ソフトウェア開発用の大規模な機械学習モデルをトレーニングするために、Google は DIDACT と呼ばれる汎用モデルを開発しました。

ソフトウェア開発ライフサイクルのあらゆる側面を理解し、コードレビューコメントを自動的に生成したり、コードレビューコメントに応答したり、コードスニペットのパフォーマンス改善提案を行ったり、コンパイルエラーに応じてコードを修正したりすることができます。

Google は、Google マップチームとの複数年にわたるコラボレーションを通じて、逆強化学習を拡張し、10 億人を超えるユーザーに対するルート提案を改善するという世界クラスの問題に適用しました。

RHIP 逆強化学習ポリシーを使用する場合、既存のベースラインと比較して Google マップのルート一致率が向上しました。

この作業により、最終的にグローバルルートの一致率が相対的に 16 ～ 24% 向上し、ルートがユーザーの好みにより一致するようになりました。

Google は機械学習モデルの推論パフォーマンスを向上させる技術の研究も続けています。

ニューラルネットワークの接続を刈り込むための計算的に扱いやすい方法を調査する中で、チームは、計算的に扱いにくい最適なサブセット選択問題を解決するための近似アルゴリズムを考案しました。このアルゴリズムにより、画像分類モデルからエッジの 70% を刈り込みながらも、元のモデルの精度をほぼすべて維持することができました。

元のネットワークと剪定されたネットワーク

Google は、デバイス上で拡散モデルを高速化する過程で、アテンションメカニズム、畳み込みカーネル、演算融合にさまざまな最適化を施し、デバイス上で高品質の画像生成モデルを実行できるようにしました。

今では、スマートフォンで「花に囲まれたかわいい子犬のリアルで高解像度の画像」を生成するのにわずか12秒しかかかりません。

モバイル GPU 上の LDM の出力例、プロンプト:「かわいい子犬とその周りに花が咲いた写真のようにリアルな高解像度画像」

言語とマルチモーダルモデルの進歩はロボット研究にも役立ちます。

Google は、個別にトレーニングされた言語、視覚、ロボット制御モデルを PaLM-E (ロボット工学のための具現化されたマルチモーダルモデル) と Robotic Transformer 2 (RT-2) に統合しました。

これは、ネットワークとロボットのデータから学習し、その知識をロボット制御の一般的な指示に変換する新しい Vision-Language-Action (VLA) モデルです。

RT-2 アーキテクチャとトレーニング: ロボットと Web データに基づいて事前トレーニング済みの視覚言語モデルを共同で微調整します。生成されたモデルは、ロボットのカメラから画像を取り込み、ロボットが実行する動作を直接予測します。

さらに、Google は言語を使用して四足ロボットの歩行を制御する方法についても研究しました。

SayTap は、足の接触パターン (例: 図の各足の 0 と 1 のシーケンス。0 は足が空中にあること、1 は足が地面に着いていることを表します) を、自然言語のユーザーコマンドと低レベルの制御コマンドをつなぐインターフェイスとして使用します。 SayTap は、強化学習ベースのモーションコントローラーを使用して、四足ロボットが単純で直接的な指示 (例: 「ゆっくり前へ進みます」) だけでなく、あいまいなユーザーコマンド (例: 「素晴らしいニュースです。今週末はピクニックに行きます!」) も受け入れて応答できるようにします。

また、人間の言語とロボットの行動の間のギャップを埋めるために、より明確な報酬関数を策定するために言語を使用することも検討します。

言語から報酬へのシステムは、（1）報酬翻訳装置と（2）モーションコントローラという2つのコアコンポーネントで構成されています。 Reward Translator は、ユーザーからの自然言語の指示を Python コードとして表現された報酬関数にマッピングします。モーションコントローラーは、後方レベルの最適化を使用して、特定の報酬関数を最適化し、各ロボットモーターに適用するトルクの量など、最適な低レベルのロボットアクションを見つけます。

事前トレーニングデータセットにデータが不足しているため、LLM は低レベルのロボットアクションを直接生成できません。チームは、報酬関数を使用して言語と低レベルのロボット動作の間のギャップを埋め、自然言語の指示から新しい複雑なロボット動作を可能にすることを提案しています。

バークールでは、研究チームは四足歩行ロボットの敏捷性の限界をベンチマークした。

数匹の犬が障害物競走に参加するよう招待され、その結果、小型犬は約 10 秒で障害物競走を完走できたのに対し、ロボット犬は概ね約 20 秒かかったことが分かりました。

アルゴリズムと最適化

効率的で堅牢かつスケーラブルなアルゴリズムの設計は、常に Google の研究の焦点となっています。

最も重要な成果の 1 つは、10 年間続いたアルゴリズムのボトルネックを打破した AlphaDev です。

その革新性は、AlphaDev が既存のアルゴリズムを改良するのではなく、強化学習を使用してより高速なアルゴリズムをゼロから発見した点にあります。

論文アドレス: https://www.nature.com/articles/s41586-023-06004-9

結果は、AlphaDev が LLVM libc++ ソートライブラリに大幅な改善をもたらした新しいソートアルゴリズムを発見したことを示しています。短いシーケンスの場合、速度は 70% 向上し、250,000 要素を超えるシーケンスの場合、速度は約 1.7% 向上します。

現在、このアルゴリズムは 2 つの標準 C++ コーディングライブラリの一部であり、世界中のプログラマーによって毎日何兆回も使用されています。

大規模プログラムの実行パフォーマンスをより適切に評価するために、Google は大規模グラフの特性を予測するために使用できる新しいアルゴリズムを開発し、新しいデータセット TPUGraphs をリリースしました。

TPUGraphsデータセットには、機械学習プログラムを最適化するための4400万のグラフが含まれています。

さらに、Google は新しい負荷分散アルゴリズムである Prequal を提案しました。これにより、CPU リソースを大幅に節約し、サーバークエリを割り当てる際の応答時間とメモリ使用量を削減できます。

Google は、最小カット、近似相関クラスタリング、超並列グラフクラスタリングを計算するための新しい手法を開発することで、クラスタリングとグラフアルゴリズムの SOTA を改善しました。

これらには、数兆のエッジを持つグラフ用に設計された新しい階層型クラスタリングアルゴリズム TeraHAC、高品質と高いスケーラビリティの両方を実現できるテキストクラスタリングアルゴリズム KwikBucks、および、高度に最適化された正確なアルゴリズムよりも 50 倍以上高速で、数十億のポイントに拡張可能な、マルチ埋め込みモデルの標準類似度関数 Chamfer Distance を近似する効率的なアルゴリズムが含まれます。

さらに、Google は大規模埋め込みモデル (LEM) を最適化しました。

これらには、大規模な機械学習システムで実証済みの機能表現を提供する Unified Embedding や、モデルのトレーニング中に効率的なスパースモデル構造を発見できるメカニズムである Sequential Attention が含まれます。

科学と社会

近い将来、科学研究における AI の応用により、特定の分野での発見速度が 10 倍、100 倍、あるいはそれ以上に向上すると予想されています。

これにより、バイオエンジニアリング、材料科学、天気予報、気候予測、神経科学、遺伝子医学、ヘルスケアなど、多くの分野で大きな進歩がもたらされるでしょう。

気候と持続可能性

Google は飛行機雲の調査において、大量の気象データ、過去の衛星画像、過去の飛行記録を分析し、飛行機雲が形成される領域を予測し、それに応じて飛行ルートを調整できる AI モデルをトレーニングしました。結果によると、このシステムにより航空機の後方乱気流を 54% 削減できることが示されました。

気候変動がもたらす課題に対処するために、Google は新たな技術的アプローチの開発に取り組んでいます。

たとえば、Google の洪水予測サービスは現在 80 か国をカバーしており、4 億 6,000 万人以上の人々に直接影響を与える可能性があります。

さらに、Google は気象予測モデルの開発においても最新の進歩を遂げています。

Google は MetNet と MetNet-2 をベースに、より強力な MetNet-3 を開発しました。MetNet-3 は、最大 24 時間の範囲内で従来の数値気象シミュレーションを上回る結果を達成できます。

中期天気予報の分野では、新しい AI モデル GraphCast は 1 分以内に 10 日間の世界の天気を正確に予測でき、異常気象も予測できます。

論文アドレス: https://www.science.org/doi/10.1126/science.adi2336

調査の結果、業界のゴールドスタンダード気象シミュレーションシステムである高解像度予報 (HRES) と比較して、GraphCast はテストされた 1,380 個の変数の 90% 以上を正確に予測したことがわかりました。

さらに、GraphCast は従来の予測モデルよりも早く悪天候イベントを特定し、最大 3 日前に将来のサイクロンの進路を予測することができます。

GraphCast モデルのソースコードが完全に公開されており、世界中の科学者や予報者が世界中の何十億もの人々に恩恵をもたらすことができることは特筆に値します。

健康・生命科学

ヘルスケアの分野では、AI が大きな可能性を示しています。

オリジナルの Med-PaLM は、米国の医師免許試験に合格した最初の AI モデルでした。その後の Med-PaLM 2 では、この基準がさらに 19% 向上し、専門家レベルの精度 86.5% に達しました。

最近リリースされたマルチモーダル Med-PaLM M は、自然言語入力を処理できるだけでなく、医療画像、テキストデータ、その他多くのデータタイプを解釈することもできます。

Med-PaLM M は、臨床言語、画像、ゲノムデータなどの生物医学データを同じモデル重みで柔軟にエンコードおよび解釈できる大規模なマルチモーダル生成モデルです。

それだけでなく、AI システムは既存の医療データ内の新しいシグナルやバイオマーカーを発見することもできます。

Google は網膜画像を分析することで、目の写真からさまざまな臓器系 (腎臓、血液、肝臓など) に関連する複数の新しいバイオマーカーを予測できることを実証しました。

別の研究で、グーグルは網膜画像と遺伝情報を組み合わせることで、老化に関連する根本的な要因のいくつかを明らかにするのに役立つ可能性があることも発見した。

ゲノミクスの分野では、Google は 60 の機関の 119 人の科学者と協力して、新たなヒトゲノムのマッピングを行いました。

さらに、画期的な AlphaFold を基盤として、7,100 万通りの可能性のあるミスセンス変異の 89% の予測カタログを提供します。

さらに、Google は、タンパク質データバンク (PDB) 内のほぼすべての分子に対して原子レベルの正確な構造予測を実行できる AlphaFold の最新の進歩である「AlphaFold-latest」もリリースしました。

この進歩により、生体分子に対する理解が深まっただけでなく、リガンド（小分子）、タンパク質、核酸（DNA および RNA）、翻訳後修飾（PTM）を含む生体高分子など、多くの重要な分野で精度が大幅に向上しました。

量子コンピューティング

量子コンピュータは、科学と産業における現実世界の主要な問題を解決する可能性を秘めています。

しかし、この可能性を実現するには、量子コンピューターは現在よりもはるかに大規模で、従来のコンピューターでは実行できないタスクを確実に実行できなければなりません。

量子コンピューティングの信頼性を確保するには、そのエラー率を現在の 10^3 分の 1 から 10^8 分の 1 に低減する必要があります。

今年、Google は大規模で実用的な量子コンピュータの開発に向けて重要な一歩を踏み出しました。史上初めて、量子ビットを追加することで計算のエラー率を削減したのです。

責任あるAI

生成 AI は、ヘルスケア、教育、セキュリティ、エネルギー、輸送、製造、エンターテインメントなど、多くの分野に革命的な影響を及ぼしています。

こうした開発の飛躍的な進歩に直面しても、テクノロジーが Google の AI 原則に従って設計されていることを保証することは、依然として最優先事項です。

AIを普遍化する

Google は、機械学習と人工知能の最先端技術の進歩を続けるとともに、人々が AI を理解し、特定の問題に適用できるように支援することにも取り組んでいます。

この目的のために、Google は開発者が軽量 AI アプリケーションを構築および反復できるように支援する Web ベースのプラットフォーム、Google AI Studio を立ち上げました。

同時に、AI エンジニアが AI をより深く理解してデバッグできるようにするために、Google は最先端のオープンソース機械学習モデルデバッグツールである LIT 1.0 もリリースしました。

Google の最も人気のあるツールの 1 つである Colab を使用すると、開発者や学生はブラウザ内で強力なコンピューティングリソースに直接アクセスでき、現在 1,000 万人を超えるユーザーがいます。

少し前に、Google は Colab に AI コード支援機能を追加し、すべてのユーザーがデータ分析と機械学習のワークフローでより便利で統合されたエクスペリエンスを得られるようになりました。

つい最近、Google は、AI が実際のアプリケーションで正しい情報を提供できるようにするための革新的な FunSearch メソッドを導入しました。

FunSearch は、進化アルゴリズムと大規模言語モデルを組み合わせることで、数理科学の分野で検証済みの現実世界の知識を生成することができます。

具体的には、FunSearch は事前にトレーニングされた LLM と自動「評価者」を組み合わせます。前者はコンピュータコードの形で創造的な解決策を提供することを目的とし、後者は幻覚や誤った考えを防ぐことを目的としています。これら 2 つのコンポーネント間で繰り返し反復すると、最初のソリューションが新しい知識に「進化」します。

論文アドレス: https://www.nature.com/articles/s41586-023-06924-6