物理学と機械学習が出会うとき: 物理学の知識に基づく機械学習のレビュー

物理学情報に基づく機械学習（PIML）とは、物理学（高度に抽象的な自然現象や歴史上の人間の行動）に関する事前知識とデータ駆動型機械学習モデルを組み合わせたもので、トレーニングデータの不足を緩和し、モデルの一般化能力を向上させ、結果の物理的合理性を保証する効果的な方法となっています。本稿では、PIMLに関する最近の膨大な研究を調査し、(1)PIML開発の動機、(2)PIMLにおける物理学の知識、(3)PIMLに物理学の知識を統合する方法という3つの側面から要約する。また、PIML の現在の課題とそれに対応する研究の機会についても議論します。

​​

論文タイトル:

物理学と機械学習が出会うとき: 物理学に基づく機械学習の調査

論文リンク:

https://arxiv.org/abs/2203.16797

1. はじめに: 物理学の知識を機械学習に組み込む

機械学習/ディープラーニングモデルは、コンピュータビジョン[1-5]や自然言語処理[6-14]などの分野で大きな成功を収めています。大量のトレーニングデータと表現力の高いニューラルネットワークアーキテクチャにより、従来の方法を超える問題解決策が提供されます。そのため、研究者たちは、機械学習モデルを科学的発見の進歩と従来の分析モデリングのさらなる改善に適用する可能性を探り始めています[15-21]。

入力と出力のペアのセットが与えられると、ディープ ニューラル ネットワークは、十分な量のデータを適切に最適化することで、入力と出力の複雑な関係を取得できますが、最適なソリューションを見つけるには、事前の知識が依然として重要な役割を果たします。データ分布とタスク特性の高レベル抽象化として、  事前知識が適切に組み込まれると、限られたトレーニング データには存在しない、または抽出が難しい豊富な情報が提供され、データ効率、一般化能力、生成されたモデルの合理性の向上に役立ちます。

長い歴史を通じて、物理学の知識は理論的にも実験的にも明示的に収集され、検証され、自然現象や人間の行動の抽象化と要約が多くの重要な科学および工学の応用に組み込まれてきました。したがって、本論文では、事前の物理的知識を機械学習モデルに統合するというトピックに焦点を当てています。  物理情報のための機械学習  （ピムリ）   。知識グラフ、論理ルール、人間からのフィードバック[22]などの他のタイプの事前知識の統合と比較して、物理的知識の統合はその特殊な特性と形式のために特別な設計を必要とする。

この論文では、PIML に関する最近の膨大な研究を調査し、3 つの側面から要約します。 （1）PIMLの動機は、さらに、機械学習を物理学の分野のタスクに利用することと、物理学の原理を既存の機械学習モデルに組み込んで現実世界のタスクに利用することに分類できます。 （２）PIMLにおける物理的な知識は、各カテゴリーが広範囲の問題を網羅する一般原則となっている。 （３）PIMLに物理学の知識を統合する方法知識が統合される場所に基づいて、これらの手法をデータ拡張、ニューラル ネットワーク アーキテクチャ設計、物理情報最適化に分類します。

この論文は次のように構成されている。第 2 章では、PIML を使用する 2 つの主な動機を分析します。1 つは主に物理領域のタスクに役立つ動機であり、もう 1 つは現実世界の問題に役立つ動機です。第 3 章では、PIML で広く使用されているいくつかの一般的な物理原理を紹介します。第 4 章では、物理的な知識を統合する方法について学習します。第 5 章では、PIML の課題と将来の研究の方向性について説明します。第 6 節は論文全体の結論です。

2. PIMLの動機:

機械学習のための物理学、物理学のための機械学習

物理科学の問題には、時空間データモデリング、因果推論、コンピュータービジョン、確率的推論など、さまざまなデータ集約型タスクが含まれます。これらのタスクにおける機械学習手法の大きな成功により、近年、機械学習モデルを使用して物理学における科学的発見を進めることへの注目が高まっています。

一方、物理ベースの機械学習手法は、既存の数値ベースまたは純粋に物理ベースの手法と比較して、柔軟性、汎用性、計算コストの点で利点があります。同時に、それらは物理的には依然として意味をなしています。このセクションでは、代理モデルシミュレーション、データ駆動型 PDE ソルバー、物理モデルのパラメーター化、次元削減モデル、知識発見など、いくつかの物理関連タスクに機械学習を使用する最近の進歩について説明します。

3. PIMLにおける物理学

このセクションでは、PIML に統合されているいくつかの種類の一般的な物理学の知識を紹介します。対応するソリューションに使用できるドメイン/タスク固有の知識は他にもありますが、このセクションで紹介する各カテゴリは、1 つまたは 2 つの特定のタスクを解決するだけでなく、幅広い問題をカバーし、一般的に適用可能なソリューション パスの範囲を提供します。

まず 古典力学とエネルギー保存の法則  。ニュートン力学、ラグランジアン力学、ハミルトン力学は、古典的な機械システムを記述する 3 つの典型的な方法です。ニュートン力学は、位置、速度、加速度、力の関係を記述するために広く使用されていますが、ラグランジアン力学とハミルトン力学は、動的システムをモデル化する際にエネルギー保存の法則に従うための効果的なツールを提供します。

に続く 対称性と不変量  。オブジェクトまたはシステム上で定義された対称性は、特定のプロパティを変更しない変換です。典型的な対称性には、視覚的物体分類問題における平行移動、分子特性予測問題における回転、粒子システムにおける順列などがあります。

PIMLにおける一般物理学の知識には以下も含まれます 偏微分方程式とクープマン理論の数値解析法  。

4. PIML法

機械学習の問題に対する典型的な解決策には、次の 3 つの主要な部分が含まれます。  データとモデル そして 最適化  、各部分は物理的な知識と組み合わせることができます。次のセクションでは、物理学の知識を各コンポーネントに組み込むための既存の手法をそれぞれ紹介します。ただし、これらの技術は相互に排他的ではないことに注意する必要があります。物理的な知識は、機械学習ソリューションの複数の部分に統合できます。

私たちは、物理的な知識の形式と統合の方法に基づいて、既存の作品を分類します。分析形式の知識については、既存の作業によって、データ、モデル、最適化を含む 3 つの側面すべてに知識を統合できることに注目します。しかし、エネルギー保存則、対称性、偏微分方程式の数値法、クープマン理論など、他の一般的な種類の物理的知識を統合する研究は、主に、対応する知識を計算グラフに組み込むことに重点を置いてきました。主な理由は、この普遍的な物理的知識が、再利用可能なネットワーク アーキテクチャにおける帰納的バイアスに変換される可能性があり、予測パフォーマンスとデータ効率の点で、データ拡張や物理ベースの損失関数よりも優れているためです。これは、（１）一般的な物理的知識が様々な問題に適用可能であり、一般的なネットワークアーキテクチャにつながるためであり、（２）   （天候や乱気流など）   IEEE が設計した複雑な数値シミュレータと比較すると、誘導バイアスはより単純な形式を持ち、有限個の異なる微分可能演算子の組み合わせに変換できます。

5. 課題と今後の方向性

課題1: インポートした物理知識を手動で選択する

既存の作業では、最も適切な物理学を選択するために、タスク固有の領域に関する専門知識が必要です。これはドメイン知識を活用して純粋にデータ駆動型のアプローチの欠点を軽減できますが、タスクに基づいて正しい物理的知識を決定する柔軟性が欠けています。したがって、研究の方向性の 1 つは、組み込むべき適切な物理的知識を自動的に識別することです。これには、ドメイン固有の知識と純粋にデータ主導のアプローチの間の妥協点を見つける必要があります。

課題2: PIML手法のベンチマークと評価の欠如

包括的なベンチマークは、対応する研究分野の発展を促進する上で大きな可能性を示しています。例えば、コンピュータビジョンの分野におけるImageNet大規模視覚認識チャレンジ  （ILSVRC）   [23] 文脈における共通オブジェクト  （ココ）   [24] 自然言語処理における統計的機械翻訳に関するワークショップ  （WMT）   [25]およびスタンフォード質問応答データセット  （分隊）   [26]。しかし、問題設定の複雑さのため、PIML にはさまざまな知識統合手法を評価するための包括的なベンチマークがまだ存在せず、これが PIML の開発の障害となっています。まず、PIML の問題のほとんどは物理学や工学のアプリケーションから生じており、ドメインの知識や経験のない検索者にとって、データの取得やタスクの形式化は困難な場合があります。第二に、既存の研究の中にはドメイン固有のデータセットに大きく依存しているものがあり、これにより異なる PIML 手法の公平な比較が非常に困難になります。 PIML の総合的なベンチマークを構築することは、その開発を促進するために緊急に必要です。

課題3: 既存のニューラルネットワークアーキテクチャとPIML最適化手法の非最適性

ニューラル ネットワーク アーキテクチャと最適化方法に関する理論的および経験的結果は、主に、コンピューター ビジョンや自然言語処理など、ニューラル ネットワーク手法が最初に注目を集めた分野で開発されてきました。ただし、PIML では効果がない可能性があります。その理由は、PIML 法では通常、順方向プロセスと目的関数で勾配を明示的に使用するため、逆方向プロセスに高次導関数が存在することになり、最適化空間の形状が一般的なディープラーニング モデルとは大きく異なるためです。たとえば、Kaiming や Xavier などの従来のパラメータ初期化方法では、通常とは異なる最適化目標が非線形であるため、十分ではありません。 PIML の新しいニューラル ネットワーク設計と従来のディープラーニング タスクの間には、ネットワーク構造と目的の点で大きな違いがあります。つまり、PIML の新しいニューラル ネットワーク設計は、構造と最適化の両方において重要です。

6. 結論

この論文では、既存の PIML 作業に関する徹底的かつ包括的な調査を紹介します。この論文では、(1)PIMLの動機、(2)PIMLにおける物理的知識、(3)PIMLにおける知識統合方法という3つの側面をまとめています。最後に、PIML の既存の課題について議論し、それに応じて将来の研究の方向性の可能性を指摘します。この論文が、PIML ユーザーが適切な物理学の知識と適切な統合方法を選択するためのガイドとして、また PIML 研究者が既存のギャップと有望な研究の方向性を特定するためのガイドとして役立つことを願っています。