ディープラーニングにおける多体問題の解決方法

「多体問題」（N 体問題とも呼ばれる）は単純に見えますが、実際には今日の数学で解決するのが非常に難しい問題です。多体問題には、相互作用する複数の実体が関係します。物理学では、三体問題には閉じた形式や解析解は存在しません (https://en.wikipedia.org/wiki/Three-body_problem を参照)。このような単純な質問は、私たちの分析ツールの限界を反映しています。これは解決不可能という意味ではなく、計算を行うために近似値と数値手法に頼らなければならないという意味です。十分に正確な数値計算を使用して、太陽、月、地球の間の三体問題を解析し、宇宙飛行士の月面着陸を支援することができます。

ディープラーニングの分野では、N 体問題も出現しています。現在、多くのより高度なシステムがマルチエージェント システムの問題に取り組んでいます。各エージェントは、グローバル目標と協力したり競合したりする目標（つまり、目的関数）を持つことができます。マルチエージェントディープラーニングシステム、さらにはモジュール型ディープラーニングシステムでも、研究者はスケーラブルな協力方法を設計する必要があります。

ヨハネス・ケプラー大学、DeepMind、OpenAI、Facebook は最近、この問題のさまざまな側面を調査した論文を発表しました。

ヨハネス・ケプラー大学のチーム（Sepp Hochreiter 氏（LSTM の発明者）を含む）は、生成的敵対ネットワーク（GAN）のトレーニングの代替目的関​​数として、シミュレートされたクーロン力（つまり、大きさが距離の逆数の 2 乗に比例する電磁力）を使用することを提案しました。

2 つの敵対的ネットワーク間の均衡を見つけることは、注目されている研究テーマです。ディープラーニングにおける二体問題の解決は非常に困難です。研究では、このアプローチを使用すると、「モード崩壊」という望ましくない状態を防ぐことができることがわかりました。さらに、この設定により、最適なソリューションへの収束が保証され、グローバルとなるローカル最小値は 1 つだけになります。より良い解決策としては、数か月前に非常に人気があった Wasserstein 目的関数 (別名 Earth Mover Distance) が考えられます。研究チームは自分たちの発明品を「Coulomb GAN」と名付けた。

マイクロソフト・マルーバは、人間を超えるレベルでパックマンをプレイする人工知能システムを紹介する論文を発表しました。研究者たちがプレイするよう求められたパックマンゲームは、キャラクターがモンスターを避けながらボールやフルーツを集めるという、ゲームのオリジナルバージョンに似ている。論文のタイトルは「強化学習のためのハイブリッド報酬アーキテクチャ」です。この記事では、一般的な強化学習アーキテクチャ (HRA など) とは異なる強化学習 (RL) の実装を紹介します。

この論文で驚くべきなのは、使用されている目的関数の数です。この論文では、ソリューションの一部として 1800 個の値関数を使用すること、つまり、各ボール、各フルーツ、各モンスターにエージェントを使用することについて説明しています。 Microsoft の調査によると、何千ものマイクロエージェントを使用して問題をサブ問題に分割し、実際に解決することが効果的であることがわかっています。このモデルでは、エージェント間の結合は明らかに暗黙的です。

DeepMind は、共有メモリを備えたマルチエージェント プログラムの問題を解決しました。論文「Distral: Robust Multitask Reinforcement Learning」では、研究者らが「マインドフュージョン」にヒントを得たエージェント調整法を通じて共通の問題を解決しています。これを実現するために、研究者たちは各エージェントをカプセル化するアプローチを採用しました。ただし、狭いチャネルがよりスケーラブルで堅牢になることを期待して、一部の情報がエージェントのカプセル化境界を通過することを許可します。

私たちは、DISTRAL (Distillation and Transfer Learning) と呼ばれる、共同マルチタスク トレーニングの新しいアプローチを提案します。異なるネットワーク間でパラメータを共有する代わりに、タスク間で共通の動作をキャプチャする「抽出された」戦略を共有することを提案します。各ネットワークは、共有ポリシーに近似するように制約されながら独自のタスクを解決するようにトレーニングされ、その後、抽出を介してすべてのタスク ポリシーの中心となるようにトレーニングされます。

この結果により、より高速で安定した学習が可能になり、狭チャネルアプローチが検証されました。これらのマルチエージェント (N 体問題) における未解決の問題は、この結合の性質です。 DeepMind の論文では、ネイティブの密結合アプローチよりも低い結合 (つまり重みの共有) の有効性が示されています。

OpenAI は最近、他のエージェントと一致するようにモデルをトレーニングする複数のシステムに関する興味深い論文を発表しました。論文のタイトルは「学習相手への意識による学習」です。この論文は、マルチエージェントシステムに社会的認識を与えることによって、報復戦略が出現することを示しています。結果の回復力の問題にもかかわらず、これは人工知能の重要な側面（多次元知能を参照）に対処するため、実に非常に魅力的なアプローチです。

要約すると、多くの主要なディープラーニング研究組織が、モジュール型ディープラーニングを積極的に研究しています。これらのグループは、さまざまな目的関数で構成されるマルチエージェント システムを調査しており、それらはすべて協力して単一のグローバル目的関数を解決するために使用されます。まだ解決すべき問題は数多くありますが、このアプローチが非常に有望であることは明らかです。昨年、私はゲーム理論の変化が将来の進歩にとって最も有益である可能性があることを発見しました。今年は、マルチエージェント システムの疎結合を探求する試みがさらに増えるでしょう。