中国科学院自動化研究所は、科学サブジャーナル「自己組織化バックプロパゲーションがネットワーク学習効率を向上」を出版した。

[[430306]]

人工知能の分野では、現在人工ニューラルネットワークで広く使用されているバックプロパゲーションアルゴリズム（BP）は、グローバル最適化戦略を採用しています。このエンドツーエンドの学習方法は優れたパフォーマンスを備えていますが、学習プロセスは多くのエネルギーを消費し、柔軟性に欠けています。中国科学院脳知能卓越センターの徐波氏と普木明氏の共同研究チームは最近、生物ネットワークで発見されたメソスコピック規模の自己組織化バックプロパゲーションメカニズム（SBP）の助けを借りて、より効率的で柔軟な脳のような局所学習法において重要な進歩を遂げました。

研究論文「シナプス修正の自己バックプロパゲーションによりスパイキングと人工ニューラルネットワークの効率が向上」は、2021年10月20日（EST）にScience Advancesにオンラインで公開されました。

論文アドレス: https://www.science.org/doi/10.1126/sciadv.abh0146

SBP によるコンピューティングのエネルギー消費の削減

SBP の発見は 1997 年に遡ります。 Pu Muming 氏のチームは Nature 誌に、海馬のニューロンが自己組織化し、シナプス前側方拡散、シナプス後側方拡散、および逆伝播の 3 つの方向に長期抑圧 (LTD) 可塑性を伝播できることを発見しました [1]。この発見は、自己組織化逆伝播神経可塑性メカニズム (SBP) です。

その後の研究により、SBP現象は普遍的であり、網膜視蓋系[2]などのより多くの神経領域だけでなく、長期増強（LTP）などのより多くの種類の可塑性[3]もカバーしていることが確認されました。このメカニズムの発生は、生物学的ニューロン内の分子変調信号の自然な逆伝達に起因し、生物学的ニューラルネットワークにおける効率的なフィードバック学習の鍵であると考えられています[4]。

このメカニズムにヒントを得て、中国科学院の研究チームは、SBP の逆伝播方向 (第 3 方向) について別の数学モデルを構築しました (図 1A)。これは、ニューロンの出力シナプスの可塑性が入力シナプスに逆伝播できることを記述することに重点を置いています (図 1B)。可塑性の発生は、スパイクタイミング依存可塑性 (STDP) または人工的な局所勾配制御によって実現できます。標準的な 3 層スパイキング ニューラル ネットワーク (SNN) の学習プロセスでは、SBP メカニズムによってネットワークの前の層の重みの学習を自己組織化することができ、短期シナプス可塑性 (STP)、恒常性膜電位などと組み合わせて、より強力な SNN 組み合わせ学習法を形成することができます (図 1C)。

図 1: SNN における SBP の応用。 (A) SBP可塑性のメカニズム。 (B) SNN における SBP のローカルバックプロパゲーション。 (C) SNN における SBP とその他の可塑性メカニズムの組み合わせ最適化。

制限付きボルツマンマシン (RBM) ネットワーク (図 2A) などの人工ニ​​ューラル ネットワーク (ANN) の学習では、反復プロセスで SBP メカニズムの一部を置き換えて、交互協調最適化を実現することもできます (図 2B-E)。 SNN と RBM の違いを考慮して、チームはトレーニング中のネットワーク パラメータ学習のスムーズさを確保するために 2 つの異なるエネルギー関数制約を設定しました。

図 2: RBM における SBP の応用。 (A) RBMにおけるSBPとBPの組み合わせ最適化。 (B) SBPとBPの交互の共同プロセス。 (C) RBMにおける標準的な睡眠段階。 (D) SBPを含む覚醒相。 (E) BPを含む覚醒フェーズ。

さらに研究チームは、トレーニング中のエネルギー消費量を統計的に計算する新しい手法を具体的に提案しました（図3）。画像分類 (MNIST)、音声認識 (NETtalk)、動的ジェスチャ認識 (DvsGesture) などの複数の標準データセットでは、SBP メカニズムは他の可塑性メカニズムを組み合わせることで、より低いエネルギー消費とより高精度の SNN ローカル学習を実現します (図 4)。 ANN-RBMの学習では、SBPメカニズムをBPメカニズムに大量に置き換えてグローバルおよびローカルのクロス学習を実現し、精度を損なうことなく計算エネルギー消費を削減することもできます（図5）。図 5C に示すように、SBP を使用したトレーニングの計算コストは​​、BP のみを使用したトレーニングと比較して約 57.1% 削減されます。

図3: トレーニングエネルギー消費量の計算方法。 (A) 平均反復回数。 (B) 各反復におけるアルゴリズムの複雑さ。

図 4: MNIST、NETtalk、DvsGesture データセットでのパフォーマンス比較。 (A、C、E) SBP は、それぞれ勾配法と可塑性法に基づく SNN の中で最高のパフォーマンスを実現します。 (B、D、F) SBP は、それぞれ勾配法と可塑性法に基づく SNN の中で最も低いエネルギー消費を実現します。

図 5: SBP は RBM の精度を向上させ、エネルギー消費を削減します。 (AC) MNIST データセットでは、SBP は RBM のトレーニング エラーをわずかに削減し (A)、精度とエネルギー消費のバランスをとって最適な Wake Phases 数を取得し (B)、トレーニングのエネルギー消費を大幅に削減します (C)。 (DI) NETtalk および DvsGesture データセットでは、SBP は MNIST と同様の結論を得ています。

研究者たちは、SBP はメソスコピック スケールでの特殊なタイプの生物学的可塑性メカニズムであり、SNN と ANN の両方で広範な組み合わせ最適化の利点を獲得しており、脳のようなローカル コンピューティングのさらなる研究に大きな意義があると考えています。生物学的知能コンピューティングの本質は、複数の種類のミクロおよびメソスコピック可塑性メカニズムを柔軟に統合し、遺伝的進化によって与えられた長距離投影ネットワーク構造と組み合わせることで、効率的なグローバル最適化学習効果を実現する自己組織化ローカル学習であると考えられます。この研究は、生物学的ネットワークと人工ネットワークの深い統合をさらに導き、最終的には高いエネルギー効率、強力な解釈可能性、高い柔軟性を備えた新世代の人工知能モデルを実現する可能性があります。

中国科学院自動化研究所の脳に触発された知能研究センターの准研究員 Zhang Tielin 氏が本研究の第一著者であり、研究員 Xu Bo 氏が責任著者、研究員 Cheng Xiang 氏 (博士課程学生)、Jia Shuncheng 氏 (博士課程学生)、研究員 Pu Muming 氏、研究員 Zeng Yi 氏が共著者である。関連する研究作業は、中国国家自然科学基金、パイオニアBおよびその他のプロジェクトによって資金提供されました。