トリソララン人は救われた！ディープラーニングは三体問題を解決する

この記事は公開アカウント「Reading Core Technique」（ID: AI_Discovery）から転載したものです。

過去 10 年間、ディープラーニングは多くの分野で新たな進歩をもたらしてきました。 Deepmind によるタンパク質フォールディング予測の印象的なデビューと、タンパク質複合体の結合を研究するスタンフォード大学の学生プロジェクトは、どちらもディープラーニングを微妙な研究に使用した例です。

しかし、それだけではありません。ディープラーニングの応用は広大な宇宙にまで広がっています。強力なトリソララン人でさえ対処できなかった 3 つの太陽を覚えていますか? そうです、人工知能がそれを解決しました。もちろん、応用範囲は一つではありません。宇宙の研究はあらゆる分野に及びます。

この記事では、機械学習と基礎科学の観点からプロジェクトの説明と影響を評価しますが、引用基準ではなく主観的な関心に基づいて判断されます。

より遠い将来に AI がどのように機能するかを見てみましょう。

[[322447]]

人工知能が宇宙論の三体問題を解く

1. （Green et al., 2019）概要：

概要: 単純な三体問題シミュレーションで将来の状態を予測するために多層パーセプトロンをトレーニングします。

説明: 4/3 トリプルエスプレッソ。簡単に言えば、このプロジェクトは、アイザック・ニュートンを悩ませた複雑な三体問題を解くことができる人工知能から、三体問題を10億倍速く解くことができるニューラルネットワークまで多岐にわたります。

[[322448]]

画像ソース: ambrozewicz

この説明は研究論文の記述的アプローチから派生したもので、専門分野外の読者に畏敬の念を抱かせるために正確に設計されたアプローチのようです。ディープラーニングとn体軌道力学の両方を習得している人はほんの一握りなので、読者は馴染みのない詳細に惹かれて要点を見逃してしまう可能性が高くなります。

• 影響 (機械学習): 3/10 密なレイヤー。大規模な畳み込みニューラル ネットワークが普及している時代に、深層多層パーセプトロンを使用するのは興味深いことです。
• 衝撃（物理学）： 3/n の質量の物体。
• モデル: ReLU アクティベーションを備えた 10 層の完全接続ニューラル ネットワーク。
• 入力: 3 つの物体のうちの 1 つの開始位置と目標時間 t。
• 出力: 時刻 t における 3 つの粒子のうち 2 つの状態。 3 番目の粒子の位置は、座標参照システムによって反映されます。
• コード: https://github.com/pgbreen/NVM (推論には事前トレーニング済みのモデルの重みのみを使用します)

2. 人工知能が宇宙論における三体問題を解く方法の詳細な説明

古典的な軌道力学では、2 つの重力物体からなる別個のシステムの将来の状態を予測することは比較的簡単です。さらに物体を追加すると、有名な三体問題が発生します。

これは、一見単純なシステムの動的な相互作用から混沌がどのように生じるかを示す典型的な例です。カオス系の特徴は、初期条件に対して極度の敏感性を示し、その動作がランダムに見えることです。

これらの状態を予測することは難しく、カオスシステムが進化する時間が長くなるほど、以前のエラーが蓄積されるため、予測はより困難になります。これが、エージェントが接続されたポールよりもソリッド ポール上で学習する方がはるかに簡単な理由です。

二重振り子のような混沌としたシステムは予測や制御が難しい

強化学習エージェントが二重振り子の制御に苦労するのと同様に、科学者は三体問題のような混沌としたシステムの将来の状態を予測することが難しいことを発見しました。ブルートフォースに頼りたいですか? それは可能ですが、どの程度の数値精度が必要かが必ずしも明確ではなく、リソースを大量に消費する可能性があります。

この論文の著者らは、10 層の多層パーセプトロンを使用して、3 体軌道問題から将来の状態を予測します。トレーニング データは、Brutus と呼ばれるブルート フォース数値シミュレータによって計算されます。

私は「昔ながらの」多層パーセプトロンを見るのが楽しかったです。また、異なるトレーニング ハイパーパラメータと異なるアーキテクチャで使用されるコードを見るのも興味深いでしょう。残念ながら、利用可能なパブリック コードにはトレーニング ツールは提供されていません。

私は最近の懐疑論に同意します。なぜなら、この論文の主張は非常に限定的で単純化されたユースケースによって裏付けられており、より複雑な状況に簡単に一般化できる可能性は低いからです。しかし、その結果は宣伝されているほど誇張されたものではないということを付け加えておきたいと思います。

モデルをより遠い将来を予測するようにトレーニングすると、そのパフォーマンスは大幅に低下し、平均絶対誤差は約 0.01 ～ 0.2 の範囲になりました。問題となる単位のない数値がほぼ常に -1 から +1 の間にある場合、これらの誤差は大きくなります。将来をさらに予測するためにネットワークをトレーニングすると、トレーニング セットの過剰適合につながる可能性もありますが、この問題については説明されていません。

[[322450]]

画像ソース: radiichina

最も価値のある分野: ディープラーニングによる太陽系外惑星の発見

1. (Dattilo et al., 2019) 機械学習が新しい惑星の発見にどのように役立つかの概要

概要: ケプラー宇宙望遠鏡は 2013 年に故障し、大量のノイズのあるデータが発生しました。研究者らは、新しいノイズの多いデータを活用するために、以前のモデルであるAstroNetの改良版であるAstroNet-K2を訓練し、2つの新しい太陽系外惑星を発見した。これらの惑星はその後の観測によって確認されました。

• 説明: 1/3 トリプルエスプレッソ。 MIT Technology Review の記事は妥当であり、プロジェクトについて誇張されたり非現実的な主張をしたりはしていませんが、AstroNet-K2 が 1 年前にリリースされた AstroNet プロジェクトに基づいていることを見落としている場合があります。
• 影響（機械学習）：4/8 畳み込みフィルター。 AstroNet と AstroNet-K2 の違いは、ハイパーパラメータ検索と異なるデータセットにあるようです。
• インパクト（太陽系外惑星天文学）：AstroNet-K2 が既知の 1076 個の [スーパーアース] のうち 2 つを発見
• (https://en.wikipedia.org/wiki/File:Size_of_Kepler_Planet_Candidates.jpg) であり、他の観測によっても検証されました。筆者は、学部生時代に始めたこの研究プロジェクトが非常に有意義な成果を上げたと考えています。
• モデル: 2 つの独立した畳み込みアームが入力データから特徴を抽出します。これらの畳み込み層の出力は、最終的な予測を出力する 4 つの完全接続層に送られます。入力: ケプラー望遠鏡 K2 実行からの 1 次元光曲線。
• 出力: 特定の信号が太陽系外惑星の通過によって引き起こされる確率。
• コード: https://github.com/aedattilo/models_K2

2. 機械学習が新しい惑星を発見する仕組みの詳細な説明

ケプラー望遠鏡は、太陽系外惑星とも呼ばれる太陽系外の惑星を研究するために設計された宇宙望遠鏡です。ディディエ・ケローとミシェル・マイヨールは、1995年に地球のような恒星を周回する最初の太陽系外惑星を発見した功績により、2019年のノーベル物理学賞を受賞した。

[[322451]]

画像ソース: unsplash

2009年にケプラーが打ち上げられてから10年以上が経過したが、知られている太陽系外惑星の総数は400個未満だった。現在は使用されていないこの望遠鏡は2009年に運用を開始し、精密な指向に使用されていた反応ホイール部品が2013年に故障するまで、1,000個以上の新しい太陽系外惑星を発見した。これでミッションのメインフェーズは終了です。

いくつかの巧妙な改造により、望遠鏡はK2と呼ばれる第2段階のデータ収集を開始することができました。 K2 からのデータはノイズが多く、連続観測は 80 日以内に限られます。

これらの制限により、何千もの仮想的な惑星信号の中から有望な惑星候補を特定することが非常に困難になりますが、このタスクは、ケプラーの最初のデータ収集段階からのデータを処理した畳み込みニューラル ネットワーク (AstroNet) によってうまく処理されます。

テキサス大学オースティン校の研究者らは、同じアプローチを試すことに決め、K2 惑星信号を分類するための AstroNet-K2 のアーキテクチャを導き出しました。

トレーニング後、AstroNet-K2 はテスト セット内の確認済みの太陽系外惑星を 98% の精度で識別でき、誤検出率も非常に低くなります。著者らは、このパフォーマンスは、手動追跡を必要とするが、まだ完全に自動化されていない分析ツールとして使用するには十分であると考えています。論文にはこう書かれている。

私たちのネットワークのパフォーマンスは、完全に自動化され統合された惑星候補リストを作成するために必要なレベルにはまだ達していませんが、概念実証としては役立ちます。 —— （ダティロ他、2019）

この記事により、AstroNet-K2 は重要な科学的成果を達成したことで、切望されていた「ベストバリュー」賞を受賞しました。このリストにある他の 2 つのプロジェクトは概念的な実証にとどまっていましたが、このプロジェクトは実際の科学的進歩をもたらし、既知の太陽系外惑星のカタログに EPIC 246151543b と EPIC 246078672b という 2 つの新しい確認済みエントリを追加しました。

K2 データ固有の課題に加え、火星が観測ウィンドウを通過したことと、セーフ モード イベントによって生じた 5 日間のデータ ギャップによって、惑星信号はさらに不明瞭になりました。

[[322452]]

画像ソース: unsplash

これは効果的な機械学習の素晴らしい例です。著者らは、すでに十分に文書化された畳み込みニューラル ネットワークを採用し、与えられたデータで適切に機能するように修正し、車輪の再発明をすることなく、困難な観察実行からいくつかの新しい洞察を追加しました。

この研究の筆頭著者であるアン・ダッティロ氏がこの研究を完了した当時は学部生であったことは注目に値する。学部生の研究プロジェクトとしては、この結果は非常に良好です。

著者らはオープンソース ソフトウェアと以前に開発されたアーキテクチャを使用し、ディープラーニングが準備段階にあることを強調しました。テクノロジーはまだ整っていませんが、ツールは存在し、すぐに使用できます。

CosmoGAN: 重力レンズ効果に対する生成的敵対的ネットワークアプローチ

1. (Mustafa et al., 2019) 概要

概要: 宇宙には失われた質量があり、これを暗黒物質と呼びます。この失われた質量による重力によって光が曲げられ、宇宙学者は光の歪み方に基づいて暗黒物質の位置を推測できる。

深層畳み込み生成敵対的ネットワークはリアルな画像を作成するのが得意であり、研究者らは暗黒物質の分布に関連するデータの画像を作成するようにネットワークを訓練した。

• 説明: 1/3 トリプルエスプレッソ。この論文に関するニュース報道は、事実上すべて、研究が行われたローレンス・バークレー国立研究所の報告によるものです。したがって、CosmoGAN が実際に何をするかの説明は曖昧ですが、レポートは過度に誇張されていたり突飛だったりするわけではありません (ただし、論文でもその点はあまり明確ではありません)。私のお気に入りの見出しは、「天文学の科学者がニューラル ネットワークを使用して暗黒物質の地図を簡単に作成」です。
• 影響（機械学習）：6/64 潜在空間ランダム変数。これは、重力弱レンズ効果データをシミュレートするようにトレーニングされたバニラ DCGAN です。
• 影響（宇宙論）：その質量の 10 分の 1 は観測不可能です。
• モデル: CosmoGAN は DCGAN です。各ネットワークには 4 つの層がありますが、畳み込みフィルターの数が少ないため、ジェネレーターのパラメーターは識別器 (440 万) の約 3 倍 (1,230 万) あります。パラメータ視差は、トレーニングを安定させ、識別器がジェネレータから逸脱しないようにするためのものです。
• 入力: 64 単位の潜在ベクトル (ジェネレーター)、CosmoGAN によって生成され、暗黒物質分布に対応して比較されるシミュレートされた (数値物理シミュレーター) 弱いレンズ収束マップの 2D 画像 (識別子)。
• 出力: 可能な収束マップ (ジェネレータ)、または特定の画像が実際の (シミュレートされた) 収束マップである確率 (識別子)
• コード: https://github.com/MustafaMustafa/cosmoGAN

2. 生成的敵対ネットワークが重力レンズ効果の改善にどのように貢献するかの詳細な説明

暗黒物質は、宇宙の質量のかなりの部分（約 85%）を占める、比較的謎に包まれた物質です。

「ダーク」とは、この形態の物質は通常の観測では見えず、1960年代にヴェラ・ルビンが観測した天の川銀河の回転速度の違いのような重力の影響からのみ推測できるという事実を指します。

暗黒物質を研究する上で観察可能な基本的な要素は、重力レンズ効果であり、質量の大きい物体が遠くの物体からの光を歪める現象です。レンズ効果が目に見えない暗黒物質によって引き起こされる場合、これは解決するために多数のシミュレーションを必要とする困難な逆問題になります。

[[322453]]

画像ソース: unsplash

「アップルパイを一から作りたいなら、まず宇宙を発明しなければなりません」（カール・セーガン、コスモス）。暗黒物質の存在を研究する場合も同様です。重力レンズ観測に基づいて暗黒物質マップを作成する標準的な方法は、（仮想）宇宙を作成することです。

周知のとおり、宇宙を創造するには非常に高額な計算コストがかかります。同時に、高度にシミュレートされた宇宙が観測結果と一致するかどうかをテストするためには、達成できる科学的研究の量が大幅に制限されます。

データは豊富にあるが、十分な計算能力が不足している場合、科学者は、毎回まったく新しい宇宙を構築することなくデータを説明できる代替モデルを開発する方法を模索します。 CosmoGAN は、最新のディープラーニング生成ネットワークを活用して重力レンズデータの収束マップを推定するアプローチの 1 つです。

生成的敵対ネットワークは、2014 年に Goodfellow らによって提案されて以来、大きな進歩を遂げてきました。 GAN フレームワークは、生成ネットワークと識別ネットワークまたは偽造検出ネットワークを対決させる、生成モデルのニッチな分野 (現在では非常に多様化しています) です。 2 つのネットワークは互いに競争して、より現実的な合成データを生成する一方で、識別器は偽造品の検出能力をますます向上させていきます。

この相互作用は、純粋な GAN トレーニング ループで唯一必要なトレーニング シグナルを提供します (ただし、条件付き GAN などのバリアントでは追加のデータが使用される場合があります)。そのため、GAN トレーニングで 2 つのネットワークのバランスをとることは芸術であり、このバランスが取れていない場合、GAN は不安定になりやすいことで有名です。

GAN はトレーニングと解釈が非常に難しいことで有名ですが、非常に多くの計算宇宙学者がその実践に関わっていることは驚きかもしれません。ただし、CosmoGAN の範囲はかなり限られています。ジェネレーターは、統計的に現実的な収束マッピング画像をシミュレートすることを学習しますが、これらは潜在空間内のランダム入力とは無関係です。

この場合、由緒ある edges2cats デモの背後にある pix2pix スキームのような条件付き GAN の方が理にかなっています。そうは言っても、特定の天文画像におけるレンズ効果についてもっともらしい説明を提供する収束図を生成することは有用であり、これは追加の観測によって検証することができます。

また、ジェネレータによって生成される収束図は 2D ですが、暗黒物質は実際には 3D で分布しています。著者らは、これらの制限のいくつかは今後の研究で対処されるだろうと述べています。

たとえば、「制御可能な GAN」という言及は、前述の conditionalGAN に似ていますが、彼らは体積暗黒物質分布の 3D バージョンを作成するつもりです。もしそうなら、このプロジェクトの 85% は現在観測不可能です。

これら 3 つのアプリケーションが宇宙論における機械学習の無限の可能性を示し、驚くべき発見とブレークスルーをもたらしたことは間違いありません。実際、これは難しいことではありません。科学者がこれまで行ったことのない大胆な探査は必要ありません。実証済みの技術を巧みに実装し、新しいデータセットに適応させて適用するだけで、たとえそれがシミュレートされたデータを使用した概念的な探査であっても、発見につながる可能性があります。

しかし、もう一つの問題は、メディアの報道や論文の記述など、誇張された内容である。こうした誇張された記述は、AIの発展に支障をきたしている。過剰な記述は非生産的なフィードバック ループを生み出し、経済/技術バブルや研究リソースの非効率的な割り当てにつながる可能性があります。これには早急な対応が必要です。