微分方程式と機械学習: 類似点と相違点の例

AI分野におけるモデリング手法として、微分方程式と機械学習がありますが、それぞれの利点は何でしょうか？

微分方程式（DE）や機械学習（ML）などのデータ駆動型の手法は、AI分野の発展を推進するのに十分です。両者の類似点と相違点は何でしょうか?この記事では比較を紹介します。

微分方程式モデルの例

ナビエ・ストークス方程式（気象学）

このモデルは天気予報に使用されます。これはカオスモデルであり、入力に少しでも不正確さがあると、予測結果が大きく異なります。天気予報が間違っていることが多いのはそのためで、天気のシミュレーションはスーパーコンピューターを使用して行われます。

アインシュタイン場方程式（物理学）

アインシュタインの場の方程式は重力の法則を記述し、アインシュタインの一般相対性理論の数学的基礎となっています。

ブラック・ショールズ（金融）

ブラック・ショールズ・モデルは、株式市場における金融デリバティブの価格設定に使用されます。

SIRモデル（疫学）

SIR は、感染症の蔓延を記述できる基本的なコンパートメント モデルです。

上記の 4 つの方程式がすべて微分方程式なのはなぜですか?なぜなら、それらはすべて、何らかの未知の関数の導関数（つまり、変化率）を伴うからです。これらの未知の関数 (SIR モデルの S(t)、I(t)、R(t) など) は、微分方程式の解と呼ばれます。

別のモデルを見てみましょう。

マレー・ゴットマン（心理学）

このモデルは恋愛関係の持続期間を予測するために使用されました。心理学者ジョン・ゴットマンの画期的な研究によれば、一貫して楽観的な雰囲気があることは結婚生活の成功を強く予測する要因である。

マレー・ゴットマンの「愛のモデル」は実際には差分方程式（微分方程式の姉妹モデル）であることに注意してください。差分方程式は離散的な数値のシーケンス（例：5 年ごとの国勢調査の結果）を出力しますが、微分方程式は連続的な値（つまり、時間の経過に伴って発生するイベント）をモデル化します。

上記の 5 つのモデル (微分方程式と差分方程式) はすべてメカニズム モデルであり、システムのロジック、ルール、構造、またはメカニズムを選択できます。もちろん、すべての実験が成功するわけではなく、数学的モデリングでは繰り返し試行することが非常に重要です。

ナビエ・ストークス方程式は、大気が流動する流体であると仮定しており、上記の方程式は流体力学から導き出されています。一般相対性理論では、時空は特定の幾何学的形状に歪んでいると仮定しています。アインシュタインは時空の歪みに関するいくつかの重要な考えを提唱し、数学者のエミー・ネーターとダフィト・ヒルベルトはそれをアインシュタインの場の方程式に取り入れました。 SIR モデルは、ウイルスが感染者と非感染者との直接接触によって拡散し、感染者は一定の割合で自動的に回復すると想定しています。

メカニズムモデルを使用する場合、観察と直感によってモデルの設計が導かれ、その後、データを使用して仮説が検証されます。

これらすべては、データから始まる経験的モデルやデータ駆動型モデルとはまったく対照的です。これには、十分な量の高品質のサンプルを入力することでシステムの基本的なロジックやルールを学習するアルゴリズムを備えた機械学習モデルが含まれます。このようなアプローチは、システムの仕組みを人間が分析したり定義したりすることが難しい場合に適切です。

数学モデルの分類

メカニズムモデルは、システムを駆動する基礎となるメカニズムについて仮定を立て、物理学でよく使用されます。実際、数学的モデリングは、人々が惑星の運動の法則を理解しようとした 17 世紀になって初めて発展し始めました。

経験的モデリングやデータ駆動型モデリング、特に機械学習では、データがシステムの構造を学習することを可能にします。このプロセスは「フィッティング」と呼ばれます。機械学習は、人間が信号とノイズを区別する方法がわからない複雑なシステムで特に効果的です。必要なのは、スマートなアルゴリズムをトレーニングして、面倒な作業を自動化することだけです。

機械学習のタスクは、大きく分けて次のように分けられます。

教師あり学習（回帰と分類）

教師なし学習（クラスタリングと次元削減）

強化学習

機械学習と人工知能システムは、今や私たちの日常生活に浸透しています。 Amazon、Apple、Google の音声アシスタントから、Instagram、Netflix、Spotify の推奨エンジン、Facebook や Sony の顔認識技術、さらには Tesla の自動運転技術まで、これらすべては大量のコードに埋め込まれた数学的モデルと統計的モデルによって駆動されています。

機械的モデルと経験的モデルはさらに、決定論的モデル（予測が固定されている）と確率論的モデル（予測にランダム性が含まれる）に分類できます。

決定論的モデルはランダムな変動を無視し、同じ初期条件が与えられた場合、常に同じ結果を予測します。

確率モデルは、システム内の個々のエンティティの異質性などのランダムな変動を考慮に入れます。たとえば、人間、動物、細胞の間には微妙な違いがあります。

ランダム性はモデルに現実感をもたらすことが多いですが、それには代償も伴います。数学的モデリングでは、モデルの複雑さを考慮する必要があります。単純なモデルは分析が簡単ですが、予測力が不足する可能性があります。複雑なモデルは現実的ですが、モデルの背後にある原理を理解することも重要です。したがって、統計学者のジョージ・ボックスが述べたように、単純さと分析可能性の間でトレードオフを行う必要があります。

すべてのモデルは間違っていますが、そのうちのいくつかは有用です。

機械学習と統計学では、モデルの複雑さはバイアスと分散のトレードオフとして知られています。バイアスの高いモデルは単純すぎるため、アンダーフィッティングにつながり、分散の高いモデルは信号 (つまり、システムの実際の構造) ではなくノイズを格納するため、オーバーフィッティングにつながります。

微分方程式と機械学習の例

ロジスティック微分方程式

この方程式には、農業、生物学、経済学、生態学、疫学などの分野が関係します。

dP/dt 対 t をプロットします。

ロジスティック モデルの例としては、ハバート ピーク オイル モデルがあります。 1956 年、石油地質学者のマリオン・ハバートは、テキサス州の石油生産量を予測する数学モデルを作成しました。

P はテキサスの石油生産量を表します。

右辺がrPの場合、石油生産量は指数関数的に増加します。しかし、ハバートは石油の総量が K = 200 ギガバレルしかないことを知っています。時間が経つにつれて石油の抽出が難しくなり、生産率 dP/dt は低下します。 (1-P/K) という項は、リソースが限られているという観察を表します。実際のデータを考慮する前に、石油抽出のメカニズムを推測したことに注意してください。

生産性を表すパラメータ r = 0.079 は 50 年間のデータから推定されました。

油の総量を表すパラメータ K は 200 であり、これがシステムの安定状態です。

機械学習モデルにとって、微分方程式に埋め込まれたロジックによって捉えられた基礎となるメカニズムを学習することは困難です。基本的に、どのアルゴリズムでも、1956 年以前に存在したデータ (緑) のみに基づいて発生する可能性のある最大値を予測する必要があります。

完全性を期すために、著者らはいくつかの多項式回帰、ランダムフォレスト、勾配ブースティングツリーをトレーニングしました。多項式回帰のみが元のデータの範囲を超えて外挿することに注意してください。

ランダムフォレスト

多項式回帰

多項式回帰はシグナルをうまく捉えることができますが、この二次関数（グラフは放物線）は 1970 年にピークオイルに達した後、再び下がる可能性は低いです。赤い曲線は高くなるばかりで、石油回収量が無限に近づいていることを示しています。

ハバートの機械モデルはこのモデリングの問題を解決しました。

機械学習の手法は、人間がシステムのルールやメカニズムを把握して定義することが難しい場合に効果を発揮します。つまり、ノイズから信号を抽出することは人間の努力の範囲を超えており、より良いアプローチは、高品質の例を使用して機械にルールと信号を学習させること、つまりデータを使用して機械をトレーニングすることです。データが良ければ、結果も良くなります。ニューラル ネットワークは、学術的および応用的な機械学習の先駆者であり、驚異的な複雑さを捉えることができます。

ロジスティック微分方程式を解き、P(t)とP'(t)をプロットする

上記でロジスティック微分方程式が紹介され、その解 P(t) とその導関数 dP/dt がすぐにプロットされました。ここでは一部手順を省略しており、詳しい操作方法は以下の通りです。

方法1: 数値シミュレーション

微分方程式はまず Python または Matlab にプログラムされ、数値ソルバーを使用して P(t) を取得してから、dP/dt を t の関数としてプロットします。ここではPythonが使用されています。

方法2: 解析解を得る

このシステムは、変数分離法を使用して解析的に解くことができます。注意: ほとんどの微分方程式は解析的に解くことができません。この点に関して、数学者は解析的な解を見つける方法を模索してきました。ニュージーランドの科学者ロイ・カーを例に挙げましょう。彼はアインシュタインの場の方程式の正確な解を発見し、それがブラックホールの発見につながりました。幸いなことに、ロジスティック微分方程式のいくつかは正確な解を持ちます。

まず、P を含むすべての項を式の左側に移動し、t を含む項を右側に移動します。

これら 2 つを組み合わせると、微分方程式を満たす関数の無限の集合である一般解が得られます。

微分方程式には常に無限の解があり、一連の曲線によってグラフで表されます。

Pを並べ替えると次のようになります。

これを微分すると次のようになります。

これら 2 つの式は、前述のロジスティック曲線とガウス曲線に対応します。

要約する

機械モデリングでは、研究者は、システムを駆動する基本的なメカニズムについて仮定を立てる前に、現象を注意深く観察して研究します。次に、データを使用してモデルを検証し、仮定が正しいことを確認します。仮定が正しければ、誰もが満足します。仮定が間違っていても、問題にはなりません。モデリング自体には繰り返しの試行が必要です。仮定を修正するか、最初からやり直すかを選択できます。

データ駆動型モデリングでは、データを利用してシステムの青写真を構築します。人間が行う必要があるのは、高品質で代表的かつ十分なデータを機械に提供することです。これは機械学習です。人間が現象の本質を観察することが難しい場合、機械学習アルゴリズムはノイズから信号を抽出できます。ニューラル ネットワークと強化学習は現在注目されている研究分野であり、驚くほど複雑なモデルを作成することができます。そしてAI革命は続く。