GNNに大量のデータを与えると重力の法則が発見される

機械学習 (ML) は、大規模なデータセット内の特徴を学習し、さまざまなオブジェクトを分類し、パラメータ推論を実行する能力を備え、自己回帰言語モデル、タンパク質構造の予測、タンパク質機能の予測などの画期的なアプリケーションも実現し、素粒子物理学から構造生物学、宇宙論に至るまで、科学の驚異的な進歩を推進してきました。

機械学習の強力な学習能力を考えると、機械学習は太陽系を観察するだけで重力の法則を再発見できるのだろうかと疑問に思わざるを得ません。

ニュートンの万有引力の法則によれば、2 つの粒子が互いに引き合う力は、それらの質量の積に比例し、それらの間の距離の 2 乗に反比例します。これは古典力学の一部であり、1687 年に『自然哲学の数学的原理』で初めて発表され、1687 年 7 月 5 日に初めて出版されました。

最近、サセックス大学、ユニバーシティ・カレッジ・ロンドンなどの研究機関の研究者が、「機械学習による軌道力学の再発見」という論文で上記の疑問に答えました。彼らの答えは「はい」です。

論文の著者の一人、マイルズ・クランマー氏のツイッターアカウントのスクリーンショット

具体的には、この研究では、観察を通じて実際の物理システムの支配方程式と隠れた特性を自動的に発見するための機械学習アプローチを提案しました。研究者らは、30年間の軌道データを使用して、太陽系の太陽、惑星、大きな衛星のダイナミクスをシミュレートするグラフニューラルネットワークをトレーニングした。次に、彼らはシンボリック回帰法を使用して、ニューラル ネットワークが暗黙的に学習した力学法則の解析式を発見し、その式がニュートンの万有引力の法則と同等であることを示しました。

論文アドレス: https://arxiv.org/pdf/2202.02306.pdf

研究は 2 つのフェーズに分かれています。学習シミュレーターの第 1 フェーズは、グラフ上の複雑な関数を近似するようにトレーニングできるディープ ニューラル ネットワークであるグラフ ネットワーク (GN) に基づいています。ここでは、太陽系の太陽、惑星、衛星の（相対的な）位置と速度が入力グラフのノードとして表され、天体間の起こり得る物理的な相互作用（力など）がグラフのエッジとして表されます。この研究では、GN ベースのシミュレーターを 30 年間の観測された太陽系の軌道に適合させました。

第 2 段階では、エッジ関数を分離し、記号回帰を適用してエッジ関数の解析式を適合させました。その結果、最も適合したのはニュートンの万有引力の法則でした。その後、研究では発見された方程式を使用して、観測されていない（相対的な）天体の質量を再計算し、天体の実際の質量とほぼ完全に一致することを発見しました。研究者は、発見した方程式と再学習した質量を使用して太陽系のダイナミクスをシミュレートし、実際に観測された軌道と非常に近い一致を得ることができます。

下の図は、太陽、水星、金星、地球、火星の概略図と、学習シミュレータで使用される対応するグラフ構造を示しています。グラフのノードは天体を表し、エッジの明るさはそれらの間の重力相互作用の強さに比例します。

データとモデル

データ: シンボリック回帰研究は歴史的におもちゃのシミュレーションに焦点を当ててきましたが、現実世界のデータはノイズ、欠落した情報、未知の物理定数など、混乱に満ちています。したがって、この研究は太陽系の観測から直接軌道力学を再発見したことになります。

この研究では、NASA Horizo​​ns の Ephemeris データに基づいてトレーニング データセットを開発しました。このデータには、太陽、惑星、冥王星、一連の衛星など、太陽系の質量が 10^18 kg を超える 31 個の天体が含まれています。トレーニング データは 1980 年から 2010 年までの 30 年間のデータから取得され、検証セットは 2010 年から 2013 年のデータから取得されます。

モデル: このモデルは、2018 年に Battaglia らによって提案された Interaction Network に基づくグラフ ニューラル ネットワーク (GNN) です。 GNN は物理データセットに適しています。メッセージ パッシングを介してオブジェクト (ノード) 間の相互作用を明示的に処理し、研究者が順列、変換、回転などの対称性をネットワークに簡単に埋め込むことができます。

GNN への唯一の入力は、特定の瞬間の天体の位置と速度、および学習したパラメータです。 GNN は、各天体の加速度を予測し、システムのダイナミクスと天体の質量をシミュレートするようにトレーニングされています。

蒸留記法のルール

次に研究者たちは、GNN が実際にどのようなルールを学習してこれらのダイナミクスを予測するのかを解明したいと考えています。モデルを一連の記号ルールに圧縮すると、一般化も向上します。

この目的のために、本研究ではシンボリック回帰を使用して、GNN メッセージ パッシング モジュールの入力と出力を適合させました。シンボリック回帰は、データに適合する何百万ものシンボリック表現を検索する機械学習アルゴリズムです。この研究では、進化的アルゴリズムを使用する PySR アルゴリズム (Cranmer、2022) を使用してこのタスクを完了しました。

次の図は、学習したシミュレーターで見つかった記号式を示しています。出力変数はすべてのケースで F_x であることがわかります。

より複雑な表現であれば、GNN の内部機能をより正確に近似できます。ただし、単純な式に他の項を追加して精度を向上させることはいつでも可能なため、単純さと精度はトレードオフになることがあります。この研究では、Cranmer et al. (2020) と同じ割合を使用して、ニュートンの重力の法則 (上の図で水色で表示) をシミュレートすることに成功しました。

その後、研究者たちはこのシミュレートされたルールを GNN メッセージ パッシング モジュールに戻しました。シミュレーション効果は次のようになりました。

明らかにパフォーマンスは向上しましたが、まだ完璧ではありません。なぜでしょうか?

この疑問を解決するために、研究者たちはまず、アルゴリズムの推定質量を各物体の実際の質量（太陽の質量に正規化）と比較しました。

各天体の実際の質量と比較すると、モデルによって推定された質量は大きく逸脱し、場合によっては数桁も異なります。

GNN のメッセージ パッシング機能はニュートンの重力の法則をうまく近似できますが、完全に正確に適合させることはできません。ニューラル ネットワークは高度に非線形な関数を学習できますが、これらの品質パラメーターは GNN への適切な入力となる可能性がありますが、GNN のシンボリック バージョンへの最適な入力ではありません。

したがって、固定された記号式を介して品質パラメータを再調整することに決め、この改善により確かにより良い結果が得られました。

この時点で、モデルの再推定質量と実際の質量の比較が次の図に示されています。

改良後、モデルによって推定された天体の質量は実際の質量とほぼ完全に一致するようになりました。これを説明するには、アルゴリズムの有効性を証明する必要があると研究者たちは考えています。

天体の質量は、他の天体に対するその天体の引力にのみ影響することがわかっています。たとえば、地球が 2 倍の大きさになると、月の軌道は大きく影響を受けますが、太陽の周りを回る地球の軌道は変わりません。フェーベ、ハイペリオン、ネレイドなどの天体は非常に小さな衛星であるため、他の天体の軌道への影響はごくわずかです。したがって、質量が小さい限り、システムに何ら影響を与えません。この理論を確認するために、研究者たちは各天体が他の天体に及ぼす重力の影響を推定し、その結果を質量推定値の誤差とともにプロットした。

上の図から、両者の間には明らかな負の相関関係があることがわかります。つまり、ある天体が他の天体に及ぼす重力の影響が小さいほど、質量推定効果は悪くなるということです。これは、アルゴリズムがどのようにして万有引力の法則を学習し、段階的に天体の質量を推定したかについても説明しています。