宇宙の力を活用してデータを処理しましょう! 「物理ネットワーク」はディープニューラルネットワークよりもはるかに優れている

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

防音箱の中には世界最悪のニューラルネットワークが眠っている。ニューラル ネットワークは、数字 6 の画像を見た後、少しの間停止し、認識した数字 0 を表示します。

ニューラルネットワークの開発を主導したコーネル大学の物理学者でエンジニアのピーター・マクマホン氏は、手書きの数字は非常に雑に見えるからだと、恥ずかしそうに笑いながら語った。 NTT研究所からマクマホン研究室を訪れているポスドクのローガン・ライト氏は、この装置は通常は正しい答えを出すが、間違いがよくあることを認めている。パフォーマンスは控えめであったものの、このニューラル ネットワークは画期的な研究でした。研究者らが木箱をひっくり返すと、コンピューターチップではなく、スピーカーに取り付けられたチタン板に向けて傾けられたマイクが現れた。

0 と 1 のデジタル世界で動作するニューラル ネットワークとは異なり、このデバイスは音の原理に基づいて動作します。ライト氏が数字の画像を提示すると、画像のピクセルが音声に変換され、スピーカーがチタン板を振動させて、研究室にかすかなさえずりの音が響き渡った。つまり、「読み取り」を行うのはシリコン チップ上で実行されるソフトウェアではなく、金属の反響です。

このデバイスの成功は、その設計者たちにとっても信じられないほどのものでした。 「金属の振動がどんな効果をもたらすにせよ、手書きの数字の分類とは関係ないはずだ」とマクマホン氏は言う。1月にコーネル大学のチームはネイチャー誌に「バックプロパゲーションで訓練されたディープ・フィジカル・ニューラル・ネットワーク」と題する論文を発表した。

論文でこのデバイスの生の読み取り機能が紹介されたことで、マクマホン氏らは、複数の改良を加えることでこのデバイスがコンピューティングに革命をもたらす可能性があると期待した。

論文リンク: https://www.nature.com/articles/s41586-021-04223-6従来の機械学習に関しては、ニューラル ネットワークが大きいほど良いことがコンピューター科学者によって発見されました。具体的な理由は、以下の図の記事で確認できます。「コンピューター科学者が、より大きなニューラル ネットワークの方が優れている理由を証明」というこの記事では、ネットワークにトレーニング データを確実に記憶させたい場合、過剰パラメータ化が効果的であるだけでなく必須であることを証明しています。

記事アドレス: https://www.quantamagazine.org/computer-scientists-prove-why-bigger-neural-networks-do-better-20220210/ニューラル ネットワークに人工ニューロン (数値を格納するノード) を追加すると、ダックスフントとダルメシアンを区別する能力が向上し、他の無数のパターン認識タスクも正常に完了できるようになります。

本当に巨大なニューラル ネットワークは、論文の執筆 (OpenAI の GPT-3 など)、イラストの描画 (OpenAI の DALL·E、DALL·E2、Google の Imagen など)、そして考えただけでも恐ろしいほどの多くの困難なタスクを完了できます。計算能力が向上すれば、より大きな偉業が可能になります。この可能性は、より強力で効率的なコンピューティング方法を開発するための取り組みを促進しています。マクマホン氏と志を同じくする物理学者のグループは、宇宙にデータ処理を任せるという型破りなアプローチを採用している。

「多くの物理システムは、コンピューターよりも効率的または高速に特定の計算を行えるのが当然です」とマクマホン氏は言う。同氏は風洞を例に挙げる。エンジニアが飛行機を設計する際、設計図をデジタル化し、スーパーコンピューターで翼の周りの空気の流れをシミュレートするのに何時間も費やすことがある。あるいは、車両を風洞に入れて飛行できるかどうかを調べることもできます。計算の観点から見ると、風洞は飛行機の翼が空気とどのように相互作用するかを瞬時に「計算」することができます。

キャプション: コーネル大学のチームメンバーであるピーター・マクマホン氏と小野寺達弘氏は、学習タスクを完了するためにさまざまな物理システムをプログラミングしています。

画像クレジット: Dave Burbank風洞は空気力学をシミュレートする単一の機能を持つ機械です。

マクマホン氏のような研究者は、何でも学習できるデバイス、つまり手書きの数字を分類したり、母音を区別したりするなど、あらゆる新しい能力を獲得するために試行錯誤を通じて動作を調整できるシステムの開発に取り組んでいる。

新たな研究によれば、光波、超伝導ネットワーク、電子の分岐流などの物理システムはすべて学習できるそうです。 「私たちはハードウェアを再発明しているだけではなく、コンピューティングパラダイム全体を再発明しているのです」と、物理学から学ぶための新しいアルゴリズムの設計に協力したスイスのETHチューリッヒの数学者ベンジャミン・セリエ氏は言う。

1.考えることを学ぶ

学習は独特なプロセスであり、10 年前までは、学習できるシステムは脳のみでした。脳の構造は、コンピューター科学者が今日最も人気のある人工学習モデルであるディープニューラルネットワークを設計するきっかけとなった。ディープニューラルネットワークは、練習することで学習するコンピュータプログラムです。

ディープ ニューラル ネットワークはグリッドとして考えることができます。値を格納するノードの層はニューロンと呼ばれ、ニューロンはシナプスと呼ばれるワイヤによって隣接する層のニューロンに接続されます。当初、これらのシナプスは「重み」と呼ばれる単なるランダムな数字です。ネットワークに 4 を読み取らせたい場合は、ニューロンの最初の層に 4 の元の画像を表し、各ピクセルの影を対応するニューロンに値として保存します。

次に、ネットワークは「考え」、層から層へと移動し、シナプスの重みを乗じたニューロン値を次の層のニューロンに入力します。最後の層で中央値が最も大きいニューロンがニューラル ネットワークの答えになります。たとえば、これが 2 番目のニューロンである場合、ネットワークは 2 を見たと推測します。ネットワークにもっと賢い推測を教えるには、学習アルゴリズムを逆に実行します。各試行の後に、推測と正解の差を計算します (この場合、この差は最後の層の 4 番目のニューロンでは高い値で表され、他のすべての場所では低い値で表されます)。

次に、アルゴリズムはネットワークを層ごとに遡り、最終ニューロンの値が必要に応じて増減するように重みを調整する方法を計算します。このプロセスはバックプロパゲーションと呼ばれ、ディープラーニングの中心となります。推測と調整を何度も繰り返すことで、バックプロパゲーションは重みを一連の数値に導き、画像によって開始される一連の乗算を通じて結果が出力されます。

画像出典: Merrill Sherman、Quanta 誌しかし、脳内での思考と比較すると、人工ニューラル ネットワークでのデジタル学習は非常に非効率的であるように思われます。人間の子供は、1日2,000カロリー未満で、わずか数年で話したり、読んだり、ゲームをしたりすることなどを学ぶことができます。エネルギーが限られているため、流暢な会話が可能な GPT-3 ニューラル ネットワークがチャットを学習するには 1000 年かかる可能性があります。

物理学者の観点から見ると、大規模なデジタルニューラルネットワークは、あまりにも多くの計算を行おうとしているだけです。今日の最大のニューラル ネットワークは、5,000 億を超える数値を記録し、操作する必要があります。この驚くべき数字は、以下の図にある論文「Pathways Language Model (PaLM): 画期的なパフォーマンスのための 5,400 億のパラメータへのスケーリング」から引用したものです。

論文リンク: https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html同時に、宇宙は、コンピューターのわずかな計算能力の限界をはるかに超えるタスクに常に直面しています。部屋の中では数兆個の空気分子が飛び回っていることがあります。

本格的な衝突シミュレーションを行うには、コンピューターが追跡する移動物体の数が多すぎますが、空気自体は瞬間瞬間の挙動を簡単に決定できます。私たちの現在の課題は、人工知能に必要な2つのプロセス、つまり画像を分類するために必要な「思考」と、その画像を正しく分類するために必要な「学習」を自然に実行できる物理システムを構築することです。

これら両方のタスクをマスターするシステムは、単なる数学的計算を行うのではなく、宇宙の数学的パワーを真に活用しています。 「我々は3.532×1.567とか、そんな計算をしたことはない」とセリエ氏は語った。 「システムは計算を行いますが、物理法則に従った方法で暗黙的に計算を行います。」

2考える部分

マクマホン氏とその協力者たちは、パズルの「考える」部分で進歩を遂げた。 COVID-19パンデミックが起こる数か月前、マクマホン氏はコーネル大学に研究室を設立した際、奇妙な発見について考えていた。長年にわたり、最高のパフォーマンスを発揮する画像認識ニューラル ネットワークはますます深くなってきています。つまり、より多くのレイヤーを持つネットワークは、大量のピクセルを取り込んで「プードル」のようなラベルを吐き出す能力が高くなります。

この傾向は、数学者たちにニューラル ネットワークによって達成される変換 (ピクセルからプードルへ) を研究するきっかけを与え、2017 年にはいくつかのグループが論文「Reversible Architectures for Arbitrarily Deep Residual Neural Networks」で、ニューラル ネットワークの動作は滑らかな数学関数の近似バージョンであると提案しました。

論文アドレス: https://arxiv.org/abs/1709.03698数学では、関数は入力 (通常は x 値) を出力 (その位置での y 値または曲線の高さ) に変換します。特定の種類のニューラル ネットワークでは、関数のギザギザが少なくなり、理想的な曲線に近くなるため、レイヤーの数が多いほどうまく機能します。この研究はマクマホン氏に考えさせた。

おそらく、スムーズに変化する物理システムを使用することで、デジタルアプローチに固有の障害を回避できるでしょう。重要なのは、複雑なシステムを飼いならす方法、つまりトレーニングを通じてその動作を調整する方法を見つけることです。マクマホン氏とその協力者がそのようなシステムとしてチタンプレートを選んだのは、その多くの振動モードが、入ってくる音を複雑に混ぜ合わせるからである。

タブレットをニューラル ネットワークのように動作させるために、入力画像 (手書きの 6 など) をエンコードした音とシナプスの重みを表す別の音をタブレットに入力しました。デバイスが音を組み合わせて答えを出すためには、音の山と谷がチタン板に適切なタイミングで当たる必要があります。たとえば、6 ミリ秒以内に最も大きな音が出る新しい音は、「6」の分類を表します。

キャプション: コーネル大学の研究チームは、手書きの数字を「読む」ために、左から右へ、振動するチタン板、水晶、電子回路という 3 つの異なる物理システムを訓練しました。画像クレジット: 左中央の写真はコーネル大学の Rob Kurcoba 氏によるもので、右の写真は Quanta 誌の Charlie Wood 氏によるものです。研究チームはまた、光学システム（入力画像と重みは結晶によって混合された2つのビームにエンコードされる）と、同様に入力を変換できる電子回路にもこの方式を実装した。

原理的には、ビザンチン挙動を示すあらゆるシステムがこれに類似する可能性がありますが、研究者は光学システムが特に有望であると考えています。結晶は光を極めて速く混合するだけでなく、その光には世界に関する豊富なデータも含まれています。マクマホン氏は、彼の光ニューラルネットワークの小型版が将来、自動運転車の目として機能し、人間の網膜が入ってくる光の基本的な視覚処理を行うのと同じように、一時停止標識や歩行者を認識し、その情報を車のコンピューターチップに送ることができるようになると想像している。

しかし、これらのシステムの最大の弱点は、トレーニングにはデジタルの世界に戻る必要があることです。バックプロパゲーションではニューラル ネットワークを逆に実行しますが、フィルムや結晶では音と光を簡単に分解できません。そこでチームは、それぞれの物理システムのデジタルモデルを構築しました。これらのモデルをラップトップ上で逆算し、バックプロパゲーション アルゴリズムを使用して、正確な答えを得るために重みを調整する方法を見つけ出すことができます。

このトレーニングを通じて、チタンプレートは手書きの数字を87%の精度で分類することを学習しました。上の写真の回路とレーザーの精度はそれぞれ 93% と 97% です。 「この結果は、バックプロパゲーションでトレーニングできるのは標準的なニューラルネットワークだけではないことを示しています」とフランス国立科学研究センター（CNRS）の物理学者ジュリー・グロリエ氏は言う。「これは非常に素晴らしいことです。」

研究チームの振動チタンプレートは、まだコンピューティングを脳の驚異的な効率に近づけることができず、このデバイスはデジタルニューラルネットワークの速度にさえ近づいていない。しかしマクマホン氏は、この装置は、人間が脳やコンピューターチップ以上のもので考えることができることを証明しており、素晴らしいと考えている。 「あらゆる物理システムはニューラルネットワークになり得る」と彼は語った。

3.学習部分

もう一つの難しい問題は、システムを完全に自律的に学習させる方法です。ドイツのマックス・プランク光科学研究所の物理学者フロリアン・マルクアート氏は、一つのアプローチとして、逆方向に動く機械を作ることを挙げる。昨年、彼と共同研究者は論文「ハミルトンエコーバックプロパゲーションに基づく自己学習マシン」の中で、そのようなシステムで実行できるバックプロパゲーションアルゴリズムの物理的な類似物を提案しました。

これが可能であることを示すために、研究者らはマクマホン装置に似たレーザー装置をデジタル的にシミュレートし、調整可能な重みを 1 つの光波にエンコードし、それを別の入力波 (画像などのコード) と混合しました。彼らは出力を正解に近づけ、光学部品を使って波を分解し、プロセスを逆転させました。

「驚くべきことに、同じ入力でデバイスを再度試すと、出力は期待したものに近づく傾向があります」とマルクアート氏は言う。次に、彼らは実験者と協力してそのようなシステムを構築する予定だ。しかし、逆方向に実行されるシステムに焦点を当てると選択肢が限られるため、他の研究者はバックプロパゲーションを完全に放棄しました。

脳の学習方法が標準的なバックプロパゲーションではないことを知っていたため、彼らの研究は挫折することなく、さらに一歩進みました。 「脳は逆伝播しません」とセリエ氏は言う。ニューロンAがニューロンBに話しかけるとき、「伝播は一方通行です」。

図 1: CNRS の物理学者 Julie Grollier は、バックプロパゲーションの有望な代替手段と見なされる物理学学習アルゴリズムを実装しました。

画像クレジット: Christophe Caudroy 2017年、モントリオール大学のコンピューター科学者であるScellier氏とYoshua Bengio氏は、バランス伝播と呼ばれる一方向学習法を開発しました。

これがどのように機能するかは次のように理解できます。ニューロンのように機能し、方向が 0 または 1 を表す矢印のネットワークが、シナプスの重みとして機能するスプリングによってグリッドに接続されていると想像してください。スプリングが緩いほど、接続された矢印を揃えるのが難しくなります。まず、左端の行の矢印が手書きの数字のピクセルを反映するように回転され、次に、左端の行の矢印は変更されずに、外乱がスプリングを通じて拡散され、他の矢印が回転します。

めくる動作が止まると、一番右の矢印が答えを示します。重要なのは、このシステムをトレーニングするために矢印を反転する必要がないことです。代わりに、ネットワークの下部に正解を示す別の矢印セットを接続すると、これらの正解矢印が上部の矢印セットを反転し、グリッド全体が新しい平衡状態になります。

最後に、矢印の新しい方向と古い方向を比較し、それに応じて各スプリングを締めたり緩めたりします。何度も試行した結果、バネはより賢い張力を獲得し、Scellier 氏と Bengio 氏はそれがバックプロパゲーションと同等であることを示した。 「物理的なニューラル ネットワークとバックプロパゲーションの間には関係がないと思われていました」とグロリアー氏は言う。「最近それが変わりました。とてもうれしいことです。」

平衡伝播に関する初期の研究は理論的なものでした。しかし、近々発表される論文の中で、グロリエ氏とCNRSの物理学者ジェレミー・レイデヴァント氏は、D-Wave社が構築した量子アニーリングマシン上でのアルゴリズムの実行について説明している。この装置には、バネでつながれた矢印のように機能する数千の相互作用する超伝導体のネットワークがあり、「バネ」がどのように更新されるかを自然に計算します。ただし、システムはこれらのシナプス重みを自動的に更新することはできません。

4.閉ループの実現

少なくとも 1 つのチームが、物理学を利用して思考、学習、重みの更新といった面倒な作業をすべて実行する電子回路を構築するための部品を集めました。 「小規模なシステムではループを閉じることができた」とペンシルベニア大学の物理学者サム・ディラボー氏は語った。

画像キャプション: ペンシルバニア大学の物理学者サム・ディラボー氏は、学習しながら自らを修正できる回路を改良している。ディラヴォー氏とその協力者たちは、真の知能であり、命令を出すために単一の構造を必要としない比較的統一されたシステムである脳を模倣することを目指している。 「それぞれのニューロンは独自の働きをしている」と彼は言う。これを実現するために、研究者らは、シナプスの重みが可変抵抗器であり、ニューロンが抵抗器間で測定された電圧である自己学習回路を構築した。

与えられた入力を分類するために、この回路はデータを複数のノードに適用される電圧に変換します。電流は回路を流れ、エネルギー消費が最も少ない経路を探し、安定したときに電圧を変化させます。答えは、出力ノードの電圧を指定することです。このアイデアの革新性は、挑戦的な学習ステップにあります。このステップでは、結合学習と呼ばれるバランスのとれた伝播に似たスキームが設計されました。

1 つの回路がデータを受信して​​結果を「推測」すると、別の同一の回路が正しい答えから始めて、それを動作に組み込みます。最後に、各抵抗器ペアを接続する電子機器が自動的に値を比較し、調整して「よりスマートな」構成を実現します。

研究チームは昨年の夏、プレプリントで基本回路について説明し（下の画像を参照）、その論文「分散型物理駆動型学習の実証」では、回路が3種類の花を95パーセントの精度で区別することを学習できることを示した。そして現在、彼らはさらに高速で強力なデバイスの開発に取り組んでいます。

論文アドレス: https://arxiv.org/abs/2108.00275このアップグレードでも、最先端のシリコン チップに勝つことはできません。しかし、こうしたシステムを構築する物理学者たちは、デジタルニューラルネットワークは今日では強力に見えても、最終的にはアナログのニューラルネットワークに比べて遅くて不十分であることが判明するだろうと疑っている。

デジタル ニューラル ネットワークは、計算負荷が大きくなりすぎて行き詰まる前に、ある程度までしか拡張できませんが、より大規模な物理ネットワークは独自の処理を実行する必要があります。 「これは非常に大規模で、急速に進化し、変化している分野であり、これらの原理を使用して非常に強力なコンピューターが構築されることに疑いの余地はありません」とディラボー氏は語った。