Nature Review: 機械学習の物理的発見 - 隣にあるもう一つの機会の道

[[437564]]

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

ニューラルネットワーク、このよく知られた用語は、生物学、特に脳神経科学に深く影響を受けていることがすぐにわかります。ニューラルネットワークの着想はもともと生物学から生まれましたが、人々の研究が深まるにつれて、親分野である生物学で利用できるリソースはますます枯渇しつつあります。しかし、生物学とは壁で隔てられた物理学は、まだブルーオーシャンにあります。この科学研究の未開の地での多くの経験と研究方法論が、ニューラルネットワークの研究を向上させ、より多くの真実を発見するのに役立つことが期待されています。そのため、近年では、機械学習と物理学の間のより強力なリンクを確立し、より強力なコンピューティング手法を設計する方法を探る多くの研究が始まっています。

機械学習と物理学は、誕生以来、非常に密接な関係にあります。最初の一歩は、ニューラルネットワークと物理学の間に最初の橋を架けたジョンホップフィールドによって 1982 年に踏み出されました。ホップフィールドは、物理学において、相互作用する粒子から構成される粒子群物理システムでは、通常、粒子間に磁力に似たいくつかの現象が発生することを発見しました。

その後、ホップフィールドはこの相互作用現象をニューラルネットワークモデル、特にネットワーク内の自発的な計算特性を持つニューロン構造の設計に適用しました。そこでホップフィールドは、リカレントニューラルネットワーク（RNN）の前身となる「ホップフィールドネットワーク」を発明しました。

今日では、RNN の幅広い応用について詳しく説明する必要はありません。RNN は、時系列分析、自然言語処理などの分野で広く使用されています。データが時間依存性とタイミングの動的特性を持つ限り、RNN は優れた代替手段となります。

別の観点から見ると、理論物理学は機械学習の分野を根本的な観点から再理解するのに役立つことが期待されています。 1984 年に LG Valiant は、この理論の方向性を定めた古典的な論文「学習可能なものの理論」を発表しました。

論文アドレス: https://dl.acm.org/doi/10.1145/1968.1972

この論文では、学習できるすべてのものの基礎ともいえる厳密な統計学習理論を紹介しています。現在のディープラーニングや機械学習における数学ベースの学習可能または学習アルゴリズムの範囲を打ち破り、より高くマクロな視点からモデル、人間、さまざまなイベントの「学習可能性」について議論します。

要約すると、著者は学習行動を「明示的なプログラミングなしで知識を獲得する現象」と定義しています。この記事では、正しい情報収集方法、学習方法の選択、計算方法と計算手順を説明する合理的な数学的概念タイプの検索など、計算の観点から学習現象を研究するための具体的な方法を示しています。

1.ディープラーニングは物理学から何を学ぶべきでしょうか?

しかし、2010年代になると、長い間眠っていたディープラーニングが新たな勢力として登場し、驚異的なスピードで多くの分野でチャートを席巻し、さまざまな記録を破り、他の従来のアルゴリズムを打ち負かしました。ディープラーニングは、その強力な一般化能力と驚異的な非線形学習能力により、世界から賞賛と認知を獲得しています。しかし、それと同時に疑問や混乱も生じます。このブラックボックスの背後には、どんな未解決の謎が隠されているのでしょうか?

ネイチャー・フィジックス誌に最近発表された論評論文の中で、研究者のレンカ・ズデボロヴァ氏は、現実世界での複雑でわかりにくいモデリング問題を解決するために「物理学にヒントを得たアプローチ」を再利用するよう研究者に呼びかけた。

「ディープラーニングの理解も物理学者の仕事」と題されたこの記事で、著者はまずディープラーニングの幅広い応用と多くの分野での優れたパフォーマンスを称賛しました。

記事アドレス: https://www.nature.com/articles/s41567-020-0929-2

しかし、彼はまた、この「頭を使わない」トレーニング方法は、ある意味では「エレガント」ではないと指摘しました。この方法は、多くのコンピューティングリソースと一般化機能を無駄にします。大規模で複雑なモデルをトレーニングするには多大な労力がかかるかもしれませんが、最終的には y=kx+b という問題しか解けません。

言い換えれば、ディープラーニングの研究では、多くの場合、問題の本質に到達できず、詳細なデータ分析を行わず、データ間の関係性や変化を注意深く観察しません。その結果、根底にある法則やコアモデルを理解して探求することができません。装飾会社のために白塗りを削り取る目的で、独特のドラゴン退治の剣を訓練した可能性が非常に高いです。うまく機能しているにもかかわらず、物理学者は依然としてパテヘラの方が便利だと考えています...もちろん、著者は物理学者にもディープラーニングのツールから学び、独自の理論研究とモデル研究を加速するよう呼びかけています。

具体的には、物理学者は一般化が得意で、常にデータの背後にある本質を見ることができるとレンカ氏は指摘した。物理学者は豊富な経験を持っています。彼らは、大量の異質で多様な実験データを容易に処理し、シャーロック・ホームズのように問題の背後にある法則を解明することができます。

したがって、物理学者は常に問題の本質を見つけ出し、その重要な部分を合理的にモデル化することができます。物理学者は、データ内の重要でないノイズや詳細を正確に除去して無視することもできます。恐ろしいのは、物理学者は分析と調査を通じてこれらの推測やモデルを常にテストできるということです。

典型的な例は、物理学で非常に成功した磁気モデルであるイジングモデルです。イジングは、磁気相互作用や物質特性に関する量子力学の詳細を事前に使用しませんが、自然界のいくつかの種類の実験現象を正確にシミュレートできます。

実際、コンピューター科学者たちは後に、同じ問題に対するデータに基づいた機械学習手法の構築を試みました。彼らはかつてホップフィールドネットワークを設計し、非常に大量のデータを入力すると、トレーニングされたモデルは驚くほど Ising と同一となり、結果もまったく同じになりました。

これはイジングネットワークの機械学習版ともいえます。これは、イジングモデルの成功を間接的に示しています。したがって、ディープラーニングの理論をより深く理解したい場合、ディープラーニングのブラックボックスの背後にある謎を解明したい場合、物理学に触発された帰納的思考は大きな突破口となるかもしれません。

物理学がディープラーニング理論のブレークスルーになると期待されている理由について、もう少し詳しくお話ししましょう。ディープラーニングの解釈可能性研究や合理性理論研究は常に注目されている分野であることは周知の事実です。ディープラーニングのブラックボックスは説明不可能な性質があるため、医療などの分野に厳密に限定されています。製品が CFDA または CE 認証に合格したい場合は、アルゴリズムの理論を明確に説明する必要があります。結局のところ、人命がかかっているからです。

したがって、物理学の観点からディープラーニングの解釈可能性を体系的に説明し、研究することができれば、わずかな改善であっても産業界や学術界にしっかりと捉えられ、救いのわらとして大切にされることになるだろう。

では、ディープラーニングでは何を計算できるのでしょうか?どうやって彼らを訓練するのでしょうか?それらを通じて情報はどのように広まるのでしょうか?なぜ彼らは一般化するのでしょうか?子どもたちに想像力をどのように教えるか...そして他の魂を探求する質問が研究の焦点となるでしょう。現在、「ディープラーニングの統計力学」などのいくつかの研究は、統計力学の物理的分析の観点からこれらの問題に対する根本的な概念的説明を提供しています。

論文アドレス: https://www.annualreviews.org/doi/10.1146/annurev-conmatphys-031119-050745

これらの解釈的手法は、ランダムランドスケープ、スピングラス、干渉、動的相転移、カオス、リーマン幾何学、ランダム行列理論、自由確率、非平衡統計力学など、さまざまな物理的および数学的トピックにディープラーニングを結び付けます。

実際、統計力学と機械学習の分野は、古代から密接な結びつきと豊かな相互作用の歴史を持っています。統計力学とディープラーニングの交差点における最新の進歩は、これらの相互作用がさらに発展し、最終的にはディープラーニングの理論的研究と解釈可能性において刺激的なブレークスルーの可能性をもたらすことが期待されていることを示しています。

2.物理学をどのように組み合わせるのですか?

実用化の観点から見ると、ディープラーニングは「大きな力は奇跡を生み出す」という性質を持っています。十分なデータと十分に複雑な神経構造があれば、現実の生活や物理学における多くの「何世紀にもわたる謎」は簡単に解決できます。たとえば、流体力学、高エネルギー物理学、天気予報などです。

たとえば、Christian らが Nature に発表した「粒子画像速度測定データのための深層再帰型光学フロー学習」という論文では、物理的な変位場を学習するためのエンドツーエンドの深層学習モデルが提案されています。粒子画像速度測定法 (PIV) の物理的特性と動的特性に焦点を当てています。

論文アドレス: https://www.nature.com/articles/s42256-021-00369-0

PIV は実験流体力学における重要な技術であり、自動車、航空宇宙、生体医学工学などのさまざまな用途で極めて重要です。現在のPIVデータ処理方法は完全に手動で設計されており、その一般化機能と推定係数は開発者によって制限されています。また、手動で設定する必要があるパラメータも多く、その適用範囲と大規模適用には大きな課題があります。

対照的に、当社のディープラーニングベースの PIV アプローチは、より幅広いアプリケーションと一般的な使いやすさを備えた最新のオプティカルフロー学習アーキテクチャ (再帰的フルフィールド変換と呼ばれる) に基づいています。パラメータ設定、計算の一般化、構造調整もほとんど自動化されており、極めて高い空間解像度を提供できます。

現在、学界で活発に行われているのは、機械学習モデルを使用して、偏微分方程式の形で数式の解を推定することです。これらの数学的解の規則は、乱流などの複雑な動的現象の理論的基礎となります。 Nature Reviews Physics 誌の最近のレビュー記事で、ジョージ・カルニアダキス氏とその同僚は、この点についてかなり詳細に議論しました。彼らは、物理学とディープラーニング手法を組み合わせることで複雑な動的問題を解決できると考えており、それらを組み合わせるための複数のアイデアと、地震予測や分子動力学などの具体的な例をいくつか示しています。

もう一つの有望な研究方向は、ディープラーニングを使用して最適化問題、特に組み合わせ最適化問題を解決することです。このクラスの問題では、アルゴリズムは、可能な構成の非常に大きく有限な空間内で最適なソリューションを見つける必要があります。この構成空間のサイズは、問題の入力サイズに応じて指数関数的に増加します。したがって、徹底的な検索に基づく解決戦略は実行不可能であり、次元の呪いにつながります。

具体的には、組み合わせ最適化問題を解決するために、Yoshua Bengio の研究の多くは、全体的な学習ソリューションの研究から、ディープラーニングを使用して問題を解決することへと徐々に移行してきました。

論文アドレス: https://arxiv.org/pdf/1811.06128v2.pdf

これらの組み合わせ最適化問題を解決することは通常非常に困難であり、数学的に非常に複雑です。しかし、現在主流のアルゴリズムはすべて手動で設計されたヒューリスティックアルゴリズムに依存しており、解釈可能性と柔軟性は高いものの、設計コストが高く、決定結果にはある程度の計算上または数学的な曖昧さが伴います。

そのため、多くの人が機械学習に目を向けました。相対的に言えば、機械学習手法は意思決定原理の追跡可能性が優れており、最適化手法も優れています。もちろん、機械学習と組み合わせ最適化の統合をさらに強化することを提唱する研究もあります。簡単に言えば、それらは本質的に一般的な最適化問題をデータポイントとして扱い、特定のタスクでの学習に関連する問題の分布は何かを尋ねます。

実際、次元の呪いを回避するために機械学習を使用して問題を解決する例は数多くあります。代表的な例として、ルービックキューブ問題、巡回セールスマン問題、タンパク質の 3 次元構造を見つける問題などがあります。

ルービックキューブは、実はマジックキューブとも呼ばれています。ルービック教授が 1974 年に発明したため、この名前が付けられました。 2019年にNatureに掲載された論文で、著者らはルービックキューブ問題を解決するためにディープラーニング手法DeepCubeAを使用することを提案しました。 DeepCubeA は、特定のドメイン知識がなくても、目標状態から逆方向に、難易度が増すルービックキューブの問題を解く方法を学習できます。

論文アドレス: https://www.nature.com/articles/s42256-019-0070-z

タンパク質配列予測とタンパク質の三次元構造というより困難な作業において、ブレインらは現在学術界で使用されているディープラーニング手法をレビューしました。

記事アドレス: https://www.nature.com/articles/s41580-019-0163-x

これらの方法はすべて、特定の三次元構造に折り畳まれるアミノ酸配列を設計するという、タンパク質分野における困難な問題を解決するために使用されます。過去 10 年間で、タンパク質構造を予測および設計する方法は急速に進歩しました。計算能力の向上とタンパク質配列および構造データベースの急速な増加により、大量のデータと計算を必要とする新しい構造予測方法の開発も促進されました。

そのため、多くのアルゴリズムを使用して「タンパク質の折り畳み」や「タンパク質間インターフェース」を計算的に設計することができ、新しい高次タンパク質アセンブリの設計、新しい特性や強化された特性を持つ蛍光タンパク質、治療の可能性を秘めたシグナル伝達タンパク質のゼロからの設計にも適用されます。

その中でも最も代表的なのは、Mohammed Hibat-Allahらが提案した、古典物理学と量子物理学をディープラーニングと組み合わせた設計です。この手法は、無秩序なイジング系の基底状態を見つけるために使用できます。

論文アドレス: https://www.nature.com/articles/s42256-021-00401-3

統計物理学では、シミュレーテッドアニーリングと呼ばれる計算方法を使用して最適化問題を解決できます。これは、冶金学におけるアニーリングプロセスにヒントを得たヒューリスティックアルゴリズムプロセスです。

冶金工業における焼鈍工程では、固体を十分に高い温度に加熱し、その後ゆっくりと冷却します。加熱すると、固体内部の粒子は温度上昇とともに無秩序になり、内部エネルギーが増加します。ゆっくり冷却すると、粒子は徐々に整列し、各温度で平衡状態に達し、最終的に室温で基底状態に達し、内部エネルギーは最小限に減少します。簡単に言えば、材料は急速に加熱され、その後ゆっくりと冷却されます。冷却プロセス中に、材料は微視的レベルで再配置され、望ましい特性を持つ最適な構成になります。

この現象に触発されて、科学者たちは従来のシミュレーテッドアニーリングアルゴリズムをまとめました。簡単に言えば、モンテカルロ反復解法戦略に基づくランダム最適化アルゴリズムであり、その出発点は物理学における固体のアニーリングプロセスと一般的な組み合わせ最適化問題との類似性に基づいています。

シミュレーテッドアニーリングアルゴリズムは、比較的高い初期温度から開始し、温度パラメータが低下し続けると、確率ジャンプ特性を組み合わせて、ソリューション空間内で目的関数のグローバル最適解をランダムに検索します。つまり、確率的にローカル最適解からジャンプし、最終的にグローバル最適解に近づくことができます。

シミュレーテッドアニーリングアルゴリズムは、一般的な最適化アルゴリズムです。理論的には、このアルゴリズムは確率的なグローバル最適化パフォーマンスを備えています。VLSI、生産スケジューリング、制御工学、機械学習、ニューラルネットワーク、信号処理などのエンジニアリング分野で広く使用されています。

シミュレーテッドアニーリングアルゴリズムは、「熱変動」を徐々に減らすことによって、エネルギーの観点からグローバル損失の最小値を検索します (明確なグローバル最小値を持つ大まかなエネルギー観点の例については、図を参照してください)。

タンパク質の折り畳み分析を示す、簡略化された非常に大まかなエネルギー視覚化。画像出典: Kuhlman & Bradley. Nat. Rev. Mol. Cell Biol. 20, 681-697 (2019). Springer Nature Ltd

シミュレーテッドアニーリングの古典的バージョンと量子バージョンはどちらも最適化問題に役立ちます。しかし、「冷却」（熱変動の低減）によってアルゴリズムの最適化された部分を探索することは、多くの場合、時間のかかるプロセスです。 Hibat-Allah らは、シミュレーテッドアニーリングといわゆる突然変異法を組み合わせて、リカレントニューラルネットワーク (RNN) を通じてシステム状態の結合分布をパラメーター化しました。この方法は「変分ニューラルアニーリング」法と呼ばれます。この新しい方法により、シミュレーテッドアニーリングアルゴリズムの実行プロセスが大幅に高速化されます。

上記の古典的なシミュレーテッドアニーリングアルゴリズムは、1974 年に Kirkpatrick によって提案された従来のシミュレーテッドアニーリングアルゴリズムであることを付け加えておく必要があります。

論文アドレス: https://www.science.org/doi/10.1126/science.220.4598.671

量子バージョンは、2002 年に Santoro らが行ったフォローアップ研究であり、2 次元ランダムイジングモデル (プロトタイプスピングラス) で古典的モンテカルロアニーリングアルゴリズムと量子モンテカルロアニーリングアルゴリズムを比較して、量子アニーリングが古典的アニーリングよりも優れていることを確認しました。

論文アドレス: https://www.science.org/doi/10.1126/science.1068774

彼らはまた、ランダウ・ツェナー・トンネルカスケード現象に基づく量子アニーリングの理論を提唱し、複雑なシステムの最低エネルギー構成が古典的な熱構成よりも効率的である可能性があることを実証しました。