DeepMindの論文がNatureに掲載されました。大規模なモデルが、数学者を何十年も悩ませてきた問題に新たな解決策を発見しました。

今年の AI 界のトップトレンドである大規模言語モデル (LLM) は概念を組み合わせるのが得意で、読む、理解する、書く、コーディングすることで人々が問題を解決するのに役立ちます。しかし、彼らは全く新しい知識を発見できるのでしょうか?

LLM は「幻覚」問題、つまり事実と矛盾する情報を生成する問題を抱えていることが示されており、検証可能な正しい発見を LLM を使用して行うことは困難です。

現在、Google DeepMind の研究チームは、数学やコンピューター サイエンスの問題の解決策を検索するための新しい方法「FunSearch」を提案しています。 FunSearch は、コンピューター コードの形式で創造的なソリューションを提供する事前トレーニング済みの LLM と、幻覚や誤った考えを防ぐための自動化された「評価者」を組み合わせることで機能します。これら 2 つのコンポーネントを繰り返すことで、最初のソリューションが「新しい知識」へと進化します。関連する論文はNature誌に掲載されました。

論文アドレス: https://www.nature.com/articles/s41586-023-06924-6

この研究は、科学や数学における困難な未解決問題に対する新たな発見をするために LLM が使用された初めての事例です。

FunSearch は、数学における長年の未解決問題であるキャップセット問題に対する新しい解決策を発見しました。さらに、DeepMind は FunSearch の実用性を実証するために、データ センターの効率向上など、幅広い用途を持つ「ビン パッキング」問題を解決するためのより効果的なアルゴリズムの発見にも FunSearch を使用しました。

研究チームは、FunSearch が出力するプログラムによって、解決策が何であるかだけでなく、その解決策がどのように構築されたかが明らかになるため、FunSearch は特に強力な科学的ツールになると考えています。これにより、科学者のさらなる洞察が刺激され、科学の向上と発見の好循環が生まれます。

言語モデルの進化を通じて発見を推進する

FunSearch は、LLM を活用した進化的アプローチを使用して、最高得点のアイデアを奨励し、推進します。これらのアイデアは、自動的に実行および評価できるようにコンピュータ プログラムとして表現されます。

まず、ユーザーはコードの形式で問題の説明を記述する必要があります。説明には、プログラムを評価するプロセスと、プログラム プールを初期化するために使用されるシード プログラムが含まれます。

FunSearch は反復的なプロセスであり、各反復で、システムは現在のプログラム プールからいくつかのプログラムを選択し、それらを LLM に送ります。 LLM はこの基盤を創造的に構築し、新しいプログラムを生成し、その評価を自動化します。最良のプログラムは既存のプログラムのライブラリに再度追加され、自己改善サイクルが生まれます。 FunSearch は Google の PaLM 2 を使用しますが、他のコードトレーニング方法とも互換性があります。

LLM はプログラム データベースから生成された最適なプログラムを取得し、より優れたプログラムを生成するように要求されます。

さまざまな分野で新しい数学的知識やアルゴリズムを発見することは困難な作業であり、現在の最先端の人工知能システムの能力をはるかに超えていることはよく知られています。 FunSearch がこれを実現できるようにするために、この研究ではいくつかの重要なコンポーネントが導入されました。 FunSearch は、ゼロから始めるのではなく、問題に関する共通の知識から進化のプロセスを開始し、新しい発見をするための最も重要なアイデアを見つけることに集中できるようにします。

さらに、FunSearch の進化プロセスでは、停滞を避けるためにアイデアの多様性を高める戦略を採用しています。最後に、システム効率を高めるために、進化のプロセスが並行して実行されます。

数学の新境地を開く

ディープマインドは、最初に解決したかったのはキャップ集合問題だと語った。これは何十年もの間、複数の研究分野の数学者を悩ませてきた未解決問題だ。著名な数学者テレンス・タオはかつてこれを彼のお気に入りの未解決問題だと言いました。 DeepMind は、キャップ集合問題で重要な進歩を遂げたウィスコンシン大学マディソン校の数学教授、ジョーダン・エレンバーグ氏と協力することを選択しました。

この問題は、3 つの点が直線上にない高次元グリッド内で最大の点の集合 (キャップ セットと呼ばれる) を見つけることです。この問題は、極限組合せ論における他の問題のモデルとして機能するため重要です。極限的組合せ論は、数値、グラフ、またはその他のオブジェクトの集合がどの程度の大きさまたは小ささになるかを研究します。力ずくのアプローチではこの問題は解決できません。考慮すべき可能性の数はすぐに宇宙の原子の数を超えてしまいます。

FunSearch の手順的に生成されたソリューションは、場合によってはこれまでで最大のキャップ セットを発見しました。これは過去 20 年間で設定された上限額の最大の増加を表します。さらに、この問題の規模は最先端の計算ソルバーの現在の能力をはるかに超えているため、FunSearch は最先端の計算ソルバーよりも優れたパフォーマンスを発揮します。

シード プログラム (上) から新しいハイスコア機能 (下) までの進化を示すインタラクティブ チャート。各円はプログラムを表し、その大きさは割り当てられたスコアに比例します。図には、一番下のプログラムの親レベルのみが表示されています。 FunSearch によって各ノードに対して生成された対応する関数が右側に表示されます。

これらの結果は、FunSearch 技術によって、直感を構築するのが難しい難しい組み合わせ問題において、人間が確立された結果を超えることができることを示唆しています。 DeepMind は、このアプローチが組合せ論における同様の理論的問題に関する新たな発見に役立ち、将来的には通信理論などの分野で新たな可能性につながると期待しています。

FunSearchは簡潔で人間が理解できるプログラムを好みます

新しい数学的知識を発見すること自体が重要ですが、FunSearch アプローチには従来のコンピューター検索技術に比べて他の利点もあります。これは、FunSearch が問題の解決策を生成するだけのブラック ボックスではないためです。代わりに、それらの解決策がどのように達成されたかを説明するプログラムを生成します。この「作業内容を示す」アプローチは、科学者が新しい発見や現象を説明する際に、その発見に至ったプロセスを記述するというやり方であることが多い。

FunSearch は、非常にコンパクトなプログラムによって表されるソリューション、つまり、コルモゴロフ複雑度が低いソリューションを見つけることを優先します (コルモゴロフ複雑度とは、ソリューションを出力する最短のコンピュータ プログラムの長さです)。短いプログラムで非常に大きなオブジェクトを記述できるため、FunSearch は非常に複雑な問題にも対応できます。さらに、これにより、研究者が FunSearch プログラムの出力を理解しやすくなります。 「FunSearch は、攻撃戦略を開発するためのまったく新しいメカニズムを提供します」とエレンバーグ氏は言います。「FunSearch によって生成されるソリューションは、単なる数字のリストよりもはるかに概念が豊かです。研究すると、いろいろなことが学べます。」

さらに重要なのは、FunSearch プログラムのこの解釈可能性により、研究者に実用的な洞察を提供できることです。たとえば、DeepMind は FunSearch を使用しているときに、高得点の出力の一部にコード内に興味深い対称性があることに気付きました。これにより、DeepMind は問題に対する新たな洞察を得ることができ、それを活用して FunSearch に導入された問題を改善し、より優れた解決策を導き出すことができました。 DeepMind は、これが人間と FunSearch が数学の多くの問題に協力できる例であると考えています。

左: FunSearch によって生成されたコードを調べることで、DeepMind はより実用的な洞察を得ました (強調表示)。右: 左の (より短い) 手順を使用して構築された元の「許容可能な」セット。

よく知られた計算問題を解く

理論上のキャップセット問題の成功に触発され、DeepMind は FunSearch をコンピューター サイエンスの重要な実践的課題であるビン パッキング問題に適用し、その柔軟性を調査することにしました。箱詰め問題は、異なるサイズのアイテムを最小数の箱に詰める方法を扱います。これは、コンテナへのアイテムの積載から、データセンターでのコンピューティング作業の分散まで、コストを最小限に抑える必要がある多くの現実世界の問題の核心です。

オンライン ビン パッキング問題は、多くの場合、人間の経験に基づいたアルゴリズム ルール (ヒューリスティック) を使用して解決されます。しかし、それぞれの特定の状況（規模、時間、容量が異なる）に対して一連のルールを見つけることは非常に困難です。キャップセット問題とは非常に異なりますが、この問題に対して FunSearch を設定するのは簡単です。 FunSearch は、既存のヒューリスティックよりも優れた、自動的にカスタマイズされた手順 (データの詳細に合わせて調整) を提供します (同じ数のアイテムを梱包するのに使用するボックスの数が少なくなります)。

既存のヒューリスティックを使用したビンパッキングの例 — ベストフィット ヒューリスティック (左) と FunSearch によって発見されたヒューリスティック (右)。

オンラインビンパッキングのような複雑な組み合わせ問題は、ニューラルネットワークや強化学習などの他の AI 手法を使用して解決できます。これらのアプローチも効果的であることが証明されていますが、導入するには多大なリソースが必要になる場合もあります。一方、FunSearch によって出力されるコードは検査や展開が容易であるため、そのソリューションはさまざまな実際の産業システムに適用できる可能性があり、すぐにメリットをもたらすことができます。

DeepMind: 科学的課題に対処するために大規模モデルを使用することが一般的な慣行になる

FunSearch は、LLM が幻覚を起こすのを防ぐことができれば、これらのモデルの力を活用して新しい数学的発見を生み出すだけでなく、現実世界の重要な問題に対する潜在的な解決策を明らかにすることもできることを実証しています。

DeepMind は、科学と産業における多くの問題 (長年にわたる問題も新しい問題も含む) に対して、LLM 主導の手法を使用して効率的でカスタマイズされたアルゴリズムを生成することが一般的な慣行になると考えています。

実際のところ、これはまだ始まりに過ぎません。 LLM が進歩するにつれて、FunSearch も改善され続けます。ディープマインドは、社会におけるさまざまな差し迫った科学的・工学的課題に対処するために、自社の能力を拡大していくとも述べた。