微積分の最終試験に希望があります! AIが方程式を解くのを手伝います

最近、Facebook AI は、記号推論を使用して高度な数式を解き、その精度が Mathematica や Matla を上回る初の AI システムを構築したと発表しました。

研究者たちは、複雑な数式を言語として表現する新しい方法を開発し、その解をシーケンスからシーケンスへのニューラル ネットワーク変換問題に置き換えることで、積分問題と 1 次および 2 次微分方程式の両方を解く際に従来のコンピューティングよりも優れたシステムを構築しました。

以前は、複雑な方程式を解くには近似ではなく精度が必要であるため、このような問題はディープラーニング モデルの範囲外であると考えられていました。

ニューラル ネットワークは、特定のピクセル パターンが犬の画像である可能性が高いことを認識したり、ある言語の文の特徴が別の言語の文の特徴と一致したりするなど、近似値を使用して成功するように学習することに優れています。

複雑な方程式を解くには、式 b - 4ac = 7 の文字などの記号データを処理する能力も必要です。これらの変数は直接加算、乗算、除算することはできず、従来のパターン マッチングまたは統計分析のみが使用できるため、ニューラル ネットワークは非常に単純な数学の問題に限定されます。

Facebook AIは、同社が提案した解決策は、複雑な方程式を言語の文章の観点から捉えるまったく新しいアプローチであり、ニューラル機械翻訳（NMT）トレーニングモデルの成熟した技術を最大限に活用して、本質的に問題を解決策に変換できると述べた。

このアプローチを実装するには、既存の数式を2つの言語の文法に分解し、1億を超える方程式と解のペアを含む大規模なトレーニングデータセットを生成する方法を開発する必要がありました。

トレーニング データに含まれていない何千もの未知の表現に直面したとき、研究者のモデルは、Maple、Mathematica、Matlab などの従来の代数方程式を解くソフトウェアに比べて、速度と精度の大幅な向上を達成しました。

この研究は、ディープラーニングが記号推論に使用できることを実証するだけでなく、ニューラル ネットワークが、通常はパターン認識に関連しないタスクも含め、より広範囲のタスクを処理できる可能性があることを示唆しています。研究者たちは、自分たちのアプローチの詳細と、他の人が同様のトレーニング セットを生成できるようにするための方法を共有しています。

ニューラル機械翻訳（NMT）を適用するための新しい方法

記号数学が特に得意な人は、ある種の直感に頼ることが多いです。生徒は、積分する関数にコサインがある場合、その積分にはおそらくサインがあるということを観察し、それを証明するために必要な作業を行うなど、与えられた問題に対する解法がどのようなものであるべきかについての感覚をつかみます。

研究者たちは、記号方程式のパターンを検出するようにモデルを訓練することで、人間が直感に基づいて複雑な問題に取り組むのとほぼ同じように、ニューラル ネットワークが解決の手がかりをつなぎ合わせることができると考えています。

そのため、研究者たちは記号的推論を NMT の問題として研究し始めました。この問題では、モデルが問題のインスタンスとそれに対応する解決策に基づいて可能な解決策を予測できます。

私たちのアプローチでは、既存の方程式 (左側) を、変換モデルへの入力として使用できる式ツリーに拡張する方法を説明します。この方程式の場合、モデルに入力されるプリアンブルシーケンスは次のようになります: (+, times, 3, power, x, 2, -, cos, times, 2, x, 1)

ニューラル ネットワークを使用してこのアプリケーションを実装するには、研究者は数式を表現する新しい方法を必要としていました。 NMT システムは、通常、単語のシーケンスを入力として使用し、新しいシーケンスを出力するシーケンスツーシーケンス (seq2seq) モデルであり、個々の単語ではなく完全な文を翻訳できます。

研究者たちは、これを記号方程式に適用するために 2 段階のアプローチを使用しました。まず、研究者らは方程式を効率的に展開し、それをツリー状の分岐構造に展開し、次にそれを seq2seq モデルと互換性のあるシーケンスに展開する方法を開発しました。

定数と変数は葉として機能し、演算子 (プラスやマイナスなど) と関数はツリーの枝を接続する内部ノードとして機能します。

従来の言語のようには見えないかもしれませんが、このように式を整理すると、数式に言語のような構文が与えられます。つまり、数字と変数は名詞、演算子は動詞になります。

研究者のアプローチにより、NMT モデルは、言語内の文をその確定された翻訳と一致させるのと同様に、特定のツリー構造の問題のパターンをそれに対応するソリューション (ツリーとして表現される) と一致させることを学習できるようになります。

このアプローチにより、研究者は強力な既成の seq2seq NMT モデルを活用して、単語のシーケンスをトークンのシーケンスに置き換えることができます。

新しいトレーニングデータセットを作成する

研究者の表現ツリー文法により、NMT モデルは理論的には複雑な数学の問題を効率的に解決法に変換できますが、そのようなモデルをトレーニングするには大量の例が必要です。

研究者が関心を持つ 2 種類の問題 (積分方程式と微分方程式) では、ランダムに生成された問題に必ずしも解が存在するとは限らないため、研究者は単に方程式を収集してシステムに入力することはできません。

研究者は、モデルが読み取り可能な式ツリーに再構成された解決済みの方程式の例を含む、まったく新しいトレーニング セットを生成する必要があります。

これにより、言語間で翻訳された文のコーパスに類似した問題と解決策のペアが作成されます。研究者たちのデータセットは、何千もの例を使ってシステムを訓練しようとした以前の研究で使用された訓練データよりもはるかに大きくする必要があった。

ニューラルネットワークは一般的にトレーニングデータが多いほどパフォーマンスが向上するため、研究者らは数百万の例を集めたコレクションを作成した。

このデータセットを構築するには、研究者がさまざまなデータクリーニングおよび生成技術を組み込む必要がありました。たとえば、記号積分方程式の場合、研究者は変換アプローチを変更しました。問題を生成してその解を求めるのではなく、解を生成して問題（その導関数）を求めるという、はるかに簡単な作業です。

解決策から問題を生成するというこのアプローチにより、何百万もの統合例を作成することが可能になります。研究者らの翻訳にヒントを得たデータセットは、積分問題と一次および二次微分方程式のサブセットをカバーする約 100 万のペア例で構成されています。

このデータセットを使用して、8 つのアテンション ヘッドと 6 つのレイヤーを持つ seq2seq トランスフォーマー モデルをトレーニングします。トランスフォーマーは変換タスクによく使用されますが、私たちのネットワークは、特定の関数のプリミティブを決定するなど、さまざまな方程式の解を予測するように設計されています。

モデルのパフォーマンスを評価するために、研究者らは 5,000 個の表現をモデルに入力し、トレーニングでは登場しなかった方程式のパターンをシステムに認識させた。

研究者のモデルは積分問題を解く際に99.7パーセントの精度を示し、一次微分方程式と二次微分方程式の精度はそれぞれ94パーセントと81.2パーセントだった。これらの結果は、研究者がテストした 3 つの従来の方程式ソルバーすべてを上回りました。

Mathematica の結果はそれほど好ましくなく、同じ積分問題で 84% の精度、微分方程式の結果では 77.2% と 61.6% の精度でした。

研究者のモデルは、ほとんどの予測を0.5秒未満で返すことができるが、他のシステムでは解決策を見つけるのに数分かかったり、完全にタイムアウトしたりすることもある。

研究者のモデルは、左側の方程式を入力として受け取り、1 秒以内に正しい解 (右側に表示) を見つけることができます。しかし、Mathematica も Matlab もこれらの方程式を解くことはできません。

生成されたソリューションを参照ソリューションと比較することで、結果を簡単に正確に検証できます。しかし、研究者のモデルは、与えられた方程式に対して複数の解を生成することもできる。これは、入力された文を翻訳する方法が多数ある機械翻訳に似ています。

方程式を解けるAI、次は何をするのでしょうか？

研究者のモデルは現在、単一変数の問題を扱っており、研究者はそれを多変数方程式に拡張することを計画している。このアプローチは物理学など、数学や論理に基づく他の分野にも応用でき、科学者の幅広い研究に役立つ可能性がある。

しかし、研究者のシステムは、ニューラルネットワークの研究と使用にさらに広範な影響を及ぼす。ディープラーニング手法はこれまでは実現不可能だった問題を解決するために使用することができ、この研究は他のタスクでも人工知能が役立つ可能性があることを示唆しています。

従来は言語と関連付けられていなかった分野に NLP 技術をさらに適用する場合でも、新しいタスクや一見無関係なタスクでのパターン認識のより自由な探求によっても、ニューラル ネットワークの限界は、テクノロジーの限界ではなく想像力の限界である可能性があります。