単一のニューロンでも DNN 機能を実現でき、画像分類の精度は 98% です。

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

人工ニューラルネットワークの末端はニューロンですか？

——それは可能かもしれない。

現在、最先端の AI システムは、できるだけ多くのニューロンをできるだけ小さなスペースに詰め込むことを目指して、多層ニューラル ネットワークを作成することで人間の脳を模倣しています。

残念ながら、このような設計は電気などのリソースを大量に消費し、その出力は強力で「エネルギー効率の高い」人間の脳に比べると見劣りします。

最近、ベルリン工科大学の研究チームが、あらゆる規模のディープニューラルネットワークを、複数の遅延フィードバックループを持つ単一のニューロンに折りたたむという新しいアイデアを提示しました。

研究結果に関する論文はネイチャー誌に掲載された。

「単一ニューロン AI 脳」という概念は、間違いなくニューラル ネットワークの発展の新たな方向性を示しています。

どのような研究なのか見てみましょう！

具体的な方法

研究チームは、多層フィードフォワードディープラーニングニューラルネットワーク（Fit-DNN）用の完全な時間的折りたたみ方法を設計しました。

Fit-DNN は、単一の遅延ループ構成と入力データの時間多重化を使用してリング トポロジをシミュレートする「時間的折り畳み」の概念に着想を得ています。

従来のディープ ニューラル ネットワークは、フィードフォワード構造で結合された複数のニューロン層で構成されています。

ニューロンを使用して従来の DNN の機能を実装する場合は、各レイヤーの論理順序を維持し、レイヤー内で操作を順序付ける方法を見つける必要があります。

これは、以前は同時だったプロセスを時間的に分割することによってのみ実現できます。つまり、個々のニューロンは適切なタイミングで適切な入力を受け取り、各層の個々のニューロンを順番にシミュレートします。

隣接する層間の従来の接続は、異なる時間に単一のニューロン間の接続に変換されます。つまり、層間接続は遅延接続になります。

同じニューロンは異なる時間に異なる重み付けが行われ、重みはバックプロパゲーション アルゴリズムによって決定されます。

これは、1 人のゲストが席を素早く切り替えて各部分を話すことで、大きなディナー テーブルでの会話をシミュレートするのと似ています。

Fit-DNN のコアは、複数の遅延と変調されたフィードバックを備えた単一のニューロンで構成されています。上の図はその構造を示しています。

文字 f でマークされた黒い円はニューロンを表し、そのニューロンの時刻 t における信号は x(t) です。この信号は、データ J(t)、オフセット b(t)、およびフィードバック信号の合計です。

調整可能な要素は四角で表されます。データ信号は入力ベクトル u によって生成され、青い四角内の行列には入力重みが含まれます。バイアス係数は灰色の四角形のバイアス信号を生成します。各フィードバック ループは、遅延と時間変調を実装してフィードバック信号を生成します。

最後に、出力重み行列を使用して信号x(t)から出力を取得します。

データ信号J(t)と出力を得るためには、適切な前処理または後処理が必要であることに注意してください。

従来の多層ワープネットワークと同等

単一ニューロン Fit-DNN は機能面で本当に多層ニューラル ネットワークと同等ですか?

下の図に示すように、Fit-DNN は複数の遅延ループを持つ単一ニューロンのダイナミクスを DNN に変換できます。

図 a は、信号 x(t) の時間変化を長さ T の時間間隔に分割できることを示しています。各時間間隔は隠れ層をシミュレートします。実線上の黒い点はノードを表し、θ はノードの分離値を表します。

図 b は、元の時間軌跡が長さ T の間隔に分割され、各間隔でノードがネットワークの位置に応じてマークされていることを示しています。

図 c は図 b を回転させて、入力層と出力層を追加したものです。

これらの接続はノード間の動的な依存関係によって決定され、θ の値に基づいて正確に計算できます。

ノード分離値 θ が大きい場合、ネットワーク ノード間によく知られている多層 DNN 形状が形成されます。

ただし、ノード分離値 θ が小さい場合、各ノードの状態は完全に独立するのではなく、前のノードに依存します。これらの追加の「慣性」接続は、図 c の黒い矢印で示されています。

研究者らは D = 2N - 1 の遅延ループを持つ完全接続 DNN を復元しましたが、シミュレーション テストではこれが要件を完全に満たしていないことが示されました。

実際には、遅延ループの数が少ないほど、十分なパフォーマンスが得られます。この場合、Fit-DNN は特別なタイプのスパース DNN を実装します。

特定の条件下では、Fit-DNN は畳み込み層のない標準 DNN を完全に復元できることがわかります。このとき、そのパフォーマンスは多層 DNN と同等です。

単一ニューロン Fit-DNN は、遅延ループ構造を通じて、フィードフォワード多層ニューラル ネットワークのトポロジの複雑さを時間領域に折り畳みます。

この遅延システム自体は無限の位相空間を持っているため、フィードバックを持つニューロンが 1 つあるだけで、ネットワーク全体が崩壊してしまいます。

Fit-DNNのコンピュータビジョン機能テスト

研究者らは、画像のノイズ除去、つまりノイズの多いバージョンから元の画像を再構築するために Fit-DNN を使用しました。

彼らは、Fashion-MNIST データセットの画像に強度 1 のガウス ノイズを追加し、ガウス ノイズを 0 (白) から 1 (黒) の間の値を持つベクトルとして扱いました。

結果のベクトルエントリはしきい値 0 と 1 でクリップされ、ノイズの多いグレースケール画像が得られます。

上の図に示すように、行 a には Fashion-MNIST データセットの元の画像が含まれ、行 b にはトレーニング システムの入力データとして機能するガウス ノイズが追加された同じ画像が表示されます。線 c は元の画像の再構成結果を示しています。

Fit-DNNは画像復元効果が優れていることがわかります。

しかし、Fit-DNN にとっての本当の疑問は、単一の繰り返しを持つ単一のニューロンが数十億のニューロンと同じ出力を生成できるかどうかです。

Fit-DNN と時間状態の計算能力を実証するために、研究者は MNIST40、Fashion-MNIST41、CIFAR-10、CIFAR-100、SVHN の 5 つの画像分類タスクを選択しました。

この実験では、上記のタスクにおいて、隠れ層のノード数が異なる（N = 50、100、200、400）Fit-DNNのパフォーマンスを比較します。

結果は、比較的単純な MNIST および Fashion-MNIST タスクでは、単一のニューロンが高い精度を達成したことを示しています。

しかし、より困難な CIFAR-10、CIFAR-100、および SVHN タスクの場合、単一ニューロンの精度は低くなります。

ここでの Fit-DNN は、重み行列の利用可能な対角線の半分のみを使用することに注意してください。ノード数 N を増やすと、パフォーマンスが効果的に向上します。

研究チーム

興味のある読者は、以下のリンクをクリックして詳細をご覧ください。

インゴ・フィッシャー氏はこの論文の共著者の一人です。彼はマールブルクのフィリップス大学で半導体物理学の博士号を取得し、ヨーロッパのいくつかの国の大学で工学と物理学の博士研究員、助教授、教授として勤務しました。

世界的に人気の高い GPT-3 などの従来の多層ニューラル ネットワークには現在 750 億のパラメーターがあり、これは前身の GPT-2 の 100 倍に相当します。

GPT-3 を 1 回トレーニングするだけで、デンマークの 126 世帯が 1 年間に使用する電力と同等、つまり月まで車で往復するのとほぼ同じ量のエネルギーが必要になると推定されています。

ベルリンチームの研究者たちは、Fit-DNN が強力なニューラル ネットワークのトレーニングに必要なエネルギー コストの上昇に対抗できると考えています。

科学者たちは、技術が発展するにつれて、このシステムが拡張され、時間的に停止したニューロンから「無限の数」のニューロン接続を作成できるようになると考えている。

興味のある読者は、以下のリンクをクリックして詳細をご覧ください。

論文リンク:

https://www.nature.com/articles/s41467-021-25427-4.pdf