リザーブプールコンピューティングにおける新たなブレークスルー：ニューロン数が少なくなり、コンピューティング速度が最大100万倍に高速化

複雑なシステムを予測するには、より多くのニューロンを使用する必要がありますか?ネイチャー・コミュニケーションズの最新号では、オハイオ州立大学の研究者が否定的な答えを出しました。彼らは、以前よりもはるかに少ないニューロンを使用して、リザーバー計算を最大100万倍高速化する方法を発見しました。

数学の分野には「力学系」と呼ばれる概念があります。このシステムには、振り子の揺れ、パイプ内の水の流れ、毎年春の湖の魚の数など、幾何学的空間内の点の時間の経過に伴う変化を記述する固定された規則があります。

しかし、天気のような動的システムは、初期条件の小さな変化がシステム全体に長期にわたる巨大な連鎖反応（バタフライ効果として知られている）を引き起こす可能性があるため、予測が困難です。

[[425395]]

時間の経過に伴う動的システムの進化をより正確に予測するために、関係する研究者は今世紀初頭に「リザーバーコンピューティング」と呼ばれる機械学習アルゴリズムを提案しました。これは人間の脳の働きを模倣した計算手法です。動的システムの進化を予測するのに非常に効果的であり、研究者たちはこの方向で継続的に改良を重ねてきました。

Nature Communicationsの最新号で、米国オハイオ州立大学の研究者らがリザーバーコンピューティングに関する研究の新たな進展を発表しました。研究者らは、計算リソースとデータ入力を大幅に削減しながら、貯留層計算を3300万倍から100万倍高速化する新しい方法を発見したと述べている。彼らはこのアプローチを「次世代リザーブプールコンピューティング」と呼んでいます。

論文リンク: https://www.nature.com/articles/s41467-021-25801-2

この研究の第一著者および責任著者は、オハイオ州立大学物理学部の教授であるダニエル・ゴーティエ氏です。

共著者には、クラークソン大学の電気・コンピュータ工学教授であるエリック・ボルト氏、オハイオ州立大学の物理学博士課程の学生であるアーロン・グリフィス氏、オハイオ州立大学の物理学博士研究員であるウェンドソン・バルボサ氏などが含まれています。

この研究は米国国防高等研究計画局（DARPA）からも支援を受けた。

新しい手法のテストでは、研究者らはデスクトップ コンピューター上で複雑な計算問題を 1 秒以内に解決しました。この問題を解決するために現在の SOTA テクノロジを使用する場合、研究者はスーパーコンピュータを使用する必要があり、さらに長い時間がかかります。

次世代リザーバコンピューティング: より少ないニューロンでより正確な予測を実現

リザーバ コンピューティングは、人工ニューラル ネットワークを使用して動的システムの進化を予測します。研究者たちは、動的システムからのデータを、ニューラルネットワーク内のランダムに接続された人工ニューロンの「貯蔵庫」に入力します。このネットワークは、研究者が解釈してフィードバックできる有用な出力を生成するため、進化を予測するための精度がますます高まるシステムが構築されます。

システムが大きく複雑になるほど、また、予測結果が正確になるにつれて、人工ニューラル ネットワークも大きくなり、タスクを完了するために必要なコンピューティング リソースと時間も大きくなります。ここでの問題は、人工ニューロンベースの予備プールがブラックボックスであり、科学者たちはその中で何が起こっているのか分からず、それが機能することしか分からないことだ、とオハイオ州立大学の物理学教授で、この新しい研究の主執筆者であるダニエル・ゴーティエ氏は述べた。

貯水池のコンピューティングの中核をなす人工ニューラル ネットワークは数学的な基盤の上に構築されているとゴーティエ氏は説明する。「私たちは数学者にこれらのネットワークを調べてもらい、さまざまなコンポーネントがどの程度不可欠であるかを教えてもらったのです。」

新たな研究で、ゴーティエ氏とその同僚はこの問題を調査し、リザーバーコンピューティングシステム全体を大幅に簡素化できることを発見しました。これにより、コンピューティングリソースの需要が大幅に削減され、多くの時間を節約できます。

彼らは、バタフライ効果の発見者でありカオス理論の父と称されるエドワード・ローレンツが開発した気象システムを使った予報ミッションでこの概念をテストした。

ローレンツ予測タスクでは、研究者が提案した次世代の予備プールコンピューティング技術は、現在の SOTA 技術よりも大幅に優れています。デスクトップ コンピューターで実行された比較的単純なシミュレーションでは、新しいシステムは現在のモデルよりも 33 ～ 163 倍高速でした。

ただし、高い精度を達成することが目標である場合、次世代のプーリング計算は 100 万倍高速になります。ゴーティエ氏は、新しい方法では、元の4,000個のニューロンと同じ精度を達成するのに28個のニューロンしか必要ないとした。

速度向上の重要な理由は、新世代の予備プール コンピューティングの背後にある「頭脳」が、前世代の予備プール コンピューティングよりもウォームアップとトレーニングをはるかに少なく必要とすることです。

ウォームアップとは、実際のタスクに備えるためにリザーバー コンピューターに入力として追加する必要があるトレーニング データを指します。 「私たちの新しい方法では、ウォームアップ時間はほとんど必要ありません」とゴーティエ氏は言う。「現在、研究者はウォームアップのために 1,000、10,000 以上のデータ ポイントを入力する必要があります。これはすべて、実生活では必要のないデータです。私たちは 1、2、または 3 のデータ ポイントを入力するだけで済みます。」

研究者が貯留層コンピューターをトレーニングして予測を行う準備が整うと、次世代のシステムでは必要なデータがはるかに少なくなります。

ローレンツ予測タスクのテストでは、研究者らは 400 個のデータ ポイントを使用し、5,000 個以上のデータ ポイントを使用した前世代のリザーバー コンピューターと同じ結果を達成しました (正確なデータ ポイントの数は、必要な精度によって異なります)。

「この次世代の貯留層コンピューティングが、すでに非常に優れているものをさらに効率化していることが素晴らしい」とゴーティエ氏は言う。彼らはこの研究を、流体力学の予測など、より複雑な計算問題にまで拡張することを計画している。

「これは極めて難しい問題です。私たちは、予備プールの簡略化された計算モデルを使用して、この問題の解決プロセスをスピードアップできるかどうかを確認したかったのです」とゴーティエ氏は語った。