MITは液体のような動的変化に適応できるLiquid機械学習システムを提案

自動運転などの多くの重要なアプリケーションでは、データはリアルタイムかつ動的であり、予期しない状況が時々発生する可能性があります。この問題を効率的に解決するために、MIT の研究者は生物学的ニューロンにヒントを得た新しいニューラル ネットワークを設計し、理論的な証明と実験的な検証を通じてニューラル ネットワークの有効性を実証しました。関連するコードも公開されています。

MIT の研究者たちは、トレーニング段階で学習するだけでなく、継続的に適応する新しいタイプのニューラル ネットワークを開発しました。この柔軟なアルゴリズムは、基礎となる数式を「液体」のように変更して、新しい入力データに継続的に適応できるため、「Liquid」ネットワークと名付けられました。この進歩は、医療診断や自動運転など、動的に変化するデータに基づく意思決定タスクに役立つ可能性があります。

論文アドレス: https://arxiv.org/pdf/2006.04439.pdf

コードアドレス: https://github.com/raminmh/liquid_time_constant_networks

「これは将来のロボット制御、自然言語処理、ビデオ処理、あらゆる形式の時系列データ処理への道となる可能性がある」と研究の主執筆者であるラミン・ハサニ氏は述べた。「これは本当に大きな可能性を秘めている」

この研究論文は、AAAI 2021 カンファレンスの選定論文の 1 つです。

ハサニ氏は、時系列データはどこにでもあるだけでなく、世界を理解する上で重要かつ不可欠なものだと述べた。 「現実世界はシーケンスで成り立っています。それが私たちが物事を認識する方法です。画像を認識するのではなく、画像のシーケンスを認識します」と彼は言いました。「つまり、時系列データが実際に私たちの現実を創り出しているのです。」

[[382710]]

彼は、ビデオ処理、金融データ、医療診断アプリケーションはすべて時系列に関係しており、私たちの社会にとって非常に重要であると指摘しました。絶えず変化するこれらのデータ ストリームを予測することは困難です。しかし、このデータをリアルタイムで分析し、将来の行動を予測することができれば、自動運転などの技術開発を大きく促進することができます。

ハサニ氏のような研究者は、現実世界のシステムの変化に適応できるニューラル ネットワークを設計しました。ニューラル ネットワークの設計は生物の脳にヒントを得たもので、ハサニ氏によると、彼らのニューラル ネットワークの設計は線虫 C. elegans から直接ヒントを得たものだという。 「その神経系はわずか302個のニューロンで構成されているが、予想以上に複雑なダイナミクスを生み出すことができる」と彼は語った。

ハサニ氏は、線虫C.エレガンスのニューロンがどのように発火し、電気インパルスを介して互いに通信するかを注意深く観察することで、ニューラルネットワークをコード化した。ニューラル ネットワークの構築に使用する方程式では、ネストされた一連の微分方程式の結果に基づいて、パラメーターが時間の経過とともに変化する可能性があります。

アルゴリズム 1: 集約常微分方程式 (ODE) 解決アルゴリズムによって実装された液体時間定数 (LTC) 再帰型ニューラル ネットワーク。ここで、θ はパラメーター空間であり、f は任意の活性化関数です。

アルゴリズム 2: 時間経過によるバックプロパゲーション (BPTT) による LTC のトレーニング。

この柔軟性が鍵となります。トレーニング段階の後、ほとんどのニューラル ネットワークの動作は固定され、入力データ ストリームの変化に適応することが難しくなります。ハサニ氏は、リキッド・ネットワークの流動性により、自動運転車のカメラの視界を遮る豪雨など、予期せぬデータやノイズの多いデータに対しても耐性が増すと述べた。 「つまり、より堅牢なのです。」

ハサニ氏は、ネットワークの柔軟性にはもう一つの大きな利点があると付け加えた。「説明もより容易になるのです。」

Hasani 氏は、Liquid ネットワークは他のニューラル ネットワークによくある扱いにくさを回避していると述べています。 「ニューロンが物事を表現する方法を変えるだけで、他の方法では探索できないレベルの複雑さを探索できます。」ハサニ氏が行った変更は、微分方程式を使用することでした。この小さいながらも非常に代表的なニューロン集団のおかげで、ネットワークの意思決定プロセスの「ブラックボックス」を覗き込み、ネットワークが特定の特性を持つ理由を診断することが容易になります。

「モデル自体は非常に表現力豊かです」とハサニ氏は述べ、エンジニアがLiquid Networkのパフォーマンスを理解し、改善するのに役立つとしている。

図 1: 表現力は軌跡の長さで測定されます。静的ディープ ネットワークの軌跡の潜在空間は、入力が隠れ層を通過するにつれて複雑になります。

図 2: 異なる活性化関数を使用した軌跡の長さ、LTC によって測定された表現力。

Hasani 氏のネットワークは、さまざまなテストで優れたパフォーマンスを発揮しました。大気化学から交通パターンの分析に至るまでのさまざまなタスクにおいて、提案された方法は、将来の値を予測する上で他の最先端の時系列アルゴリズムよりも数パーセント優れています。さらに、ネットワークのサイズが小さいため、テスト中の計算コストが大幅に低くなります。 「誰もがネットワークの拡大について話している」とハサニ氏は言う。「我々はネットワークを縮小して、ノードの数を減らしながらも、より豊富なノードを持つようにしたいのだ。」

時系列予測結果。

ハサニ氏は、今後もシステムの改良と業界への応用を検討していく予定です。 「私たちはすでに、自然にヒントを得て、ニューラル ネットワークの表現力を高める実証済みの方法を持っています。しかし、このプロセスはまだ始まったばかりです」と、彼は言います。「当然の疑問は、これをどのように拡大するかということです。私たちは、このようなネットワークが将来のインテリジェント システムの重要な構成要素になると考えています。」