ニューロモルフィックコンピューティングを理解する: 基本原理から実験的検証まで

人間の脳は、効率的な生体エネルギーによって計算能力を部分的にサポートし、ニューロンを基本的な発火単位として使用しているため、長い間研究者にインスピレーションを与えてきました。人間の脳の低消費電力と高速コンピューティングの特性からヒントを得たニューロモルフィック チップは、コンピューティングの世界では新しいトピックではありません。複雑なアルゴリズムとアーキテクチャの急速な発展により、放熱が大きな課題となっています。ニューロモルフィック コンピューティングは、ハイパースケール マシンや自動運転などの人工知能アプリケーションの将来の基礎となる可能性があります。

「どういうわけか、人間の脳、つまり私たち自身の生物は、AI 操作を従来のスーパーコンピューターよりも 100 万倍高速に実行する方法を見つけました。」ニューロモルフィックは、人間の脳を模倣し、人間の脳モデルのメリットを活用し、エネルギー効率とコスト効率を維持できる CMOS ベースのアーキテクチャを生み出す機会です。 ——マーク・シーガー、インテルフェロー、スケーラブル・データセンター HPC エコシステム CTO

ニューロモルフィックチップの元々のアイデアは、カリフォルニア工科大学のカーバー・ミード教授が1990年に発表した論文にまで遡ります。ミード氏は論文の中で、アナログ チップは人間の脳内のニューロンとシナプスの活動を模倣できると提案しました。アナログ チップのバイナリ特性とは異なり、アナログ チップは出力が変更できるチップです。人間の脳の活動を模倣することの重要性は、そこから学ぶことができることです。従来のチップは、送信ごとに一定の特定の電圧を維持します。ミード氏が 2013 年の会話で述べたように、今日の機械学習タスクで使用される複雑なアルゴリズムとアーキテクチャに関しては、熱放散がチップ業界の最大の課題となっています。

対照的に、ニューロモルフィック チップは、その生物学的性質により、低いレベルのエネルギー消費しか必要としません。人間の脳が非常にエネルギー効率が良い理由の一つは、神経インパルスが伝達時にわずかな電気しか消費しないからです。蓄積された電荷が設定された制限を超えた場合にのみ信号が渡されます。つまり、ニューロモルフィック チップはイベント駆動型であり、必要なときにのみ動作するため、動作環境が向上し、エネルギー消費が削減されます。

いくつかの企業が脳に着想を得たコンピューティングの研究に投資しています。ワイヤレス技術企業クアルコムは2014年に、ニューロモルフィックチップをベースにした印象的なロボットを披露した。このロボットは、スマートフォンのチップ上の修正されたソフトウェアを使用して、通常は特別にプログラムされたコンピューターが必要となるタスクを実行できます。 2014 年に IBM が製造した SyNAPSE チップも、脳にヒントを得たコンピューティング アーキテクチャで構築されています。消費電力は驚くほど低く、リアルタイム動作でわずか 70mW です。最近、ニューロモルフィックは IBM や Intel などの企業から新たな関心を集めています。 2013年と2014年に商業製品を製造する予定だったが、今回は研究目的での探査を希望している。

2012 年に、Intel は、生物学的ニューラル ネットワークに類似したスピン CMOS ハイブリッド ANN の設計例を最初のプロトタイプの 1 つとして提案しました。この設計では、ニューロン磁石がトリガー サイトを構成します。磁気トンネル接合 (MTJ) はニューロンの細胞体に類似しており、ドメイン壁磁石 (DWM) はシナプスに類似しています。チャネルの中央領域におけるスピンのポテンシャルエネルギーは、活性/非活性状態を制御する細胞体の電気ポテンシャルエネルギーに等しくなります。 CMOS の検出および伝送ユニットは、受信ニューロンに電気信号を伝送するシナプスに例えることができます (図 1 を参照)。

ニューロモルフィック デバイスは、低消費電力という利点に加え、自動運転やリアルタイム センサー フィード ニューラル ネットワークなど、スーパーコンピューティング以外にもパターン マッチングを必要とするタスクにも適しています。言い換えれば、これらは、単により強力で複雑な計算ではなく、人間の脳の思考、つまり「認知コンピューティング」をシミュレートする必要があるアプリケーションです。 Mark Seager が示唆するように、ニューロモルフィック開発では、大規模な浮動小数点ベクトル ユニットと高度な並列性、および高度に階層化されたメモリをかなり均一な方法で処理する機能を備えたアーキテクチャに重点を置く必要があります。より具体的には、ニューラル ネットワークに関しては、Intel が開発した OmniPath などの相互接続を介して機械学習タスクを並列化し、より大規模で複雑な機械学習の問題を解決して、複数のノードに拡張する方法に焦点を当てた研究です。現在、スケーラビリティは数十から数百のノードに制限されており、ニューロモルフィック チップの可能性は制限されています。しかし、計算ニューラル ネットワークのアルゴリズムとモデルが進歩するにつれて、スケーラビリティが大幅に向上し、ニューロモルフィック チップの進歩の余地が広がると考えられます。

しかし、ニューロモルフィック デバイスはコンピューティングの将来の方向性として有望ではあるものの、まだ理論レベルにあり、大量生産されていないことを認識する必要があります。 Audience 社が製造したノイズ サプレッサーなど、ニューロモルフィック チップの要素を備えていると言われるデバイスはいくつかありますが、現在の大量の刺激にまだ屈して性能評価を得るには至っていません。進行中の研究により、ニューロモルフィック チップの実現で遭遇する困難を克服する進歩が実証されており、ニューロモルフィック コンピューティングの明るい未来が約束されています。

実験

「このアーキテクチャは、視覚や音声からマルチシーンの融合まで、幅広い問題を解決できます。また、コンピューティングがパワーと速度によって制限されているデバイスに脳のようなパフォーマンスを統合することで、コンピューティング業界に革命を起こす可能性を秘めています。」—IBMフェロー、ダルメンドラ・モダ

ニューロモルフィック コンピューティングの目標は、ニューロモルフィック コンピューティング アーキテクチャの将来の開発を導く重要なアイデアを抽象化するアルゴリズムのインスピレーションとして神経科学を使用することです。しかし、私たちの生物学的構造を発振器や半導体などの電気デバイスに変換することは簡単な作業ではありません。

ニューロモルフィック チップの利点を享受するには、模倣を実行するために多数の発振器が必要です。今日のディープ ニューラル ネットワークにはすでに数百万のノードが存在し、さらに多くのノードを持つより複雑なニューラル ネットワークへの移行に向けた取り組みも進行中です。人間の脳に匹敵するパワーを実現するには、数十億個の発振器が必要になります。このような巨大なニューラル ネットワークをソフトウェアで刺激するのは非常にエネルギーを消費しますが、ハードウェアを使用して処理する方がはるかに効果的です。指先サイズのチップ上にすべてのノードを配置するには、ナノスケールの発振器が不可欠です。

ナノスケールの発振器はノイズの影響を受けやすいため、これは問題となります。このような発振器は熱擾乱によって動作が変化し、時間の経過とともに特性が変化します。ニューロモルフィック コンピューティングは、信頼性の低い入力には耐えられるものの、処理回路内のノイズの処理はあまり得意ではありません。分類タスクを例にとると、類似の入力が提供される場合、毎回同じニューラル ネットワーク分類が必要になります。ノイズの理由により、ナノスケールの発振器を備えたニューロモルフィック チップを実装するための理論的なスキームは存在しますが、実証的な実現はありません。しかし、最近の論文では、この困難を克服し、特殊なナノ磁気発振器を使用して神経集団の振動動作をうまく模倣できる解決策が提案されています。

研究者らは、特定の動的条件下では、スピントルク発振器の使用により、高い信号対雑音比と同義で優れた分類結果を達成できることを発見しました。図 2 に示すように、スピン発振器は 2 つの磁気電極とその間に挟まれた通常のスペーサー部品で構成されており、現在の磁気メモリセルとまったく同じ構造になっています。上図に示すように、充電電流によって発生した磁化振動は電圧振動に変換されます。その後の音声数字認識に関する実験では、スピントルク発振器がニューロモルフィックタスクにおいて現在の最先端のパフォーマンスを達成できることが実証されました。

比較的単純な波形認識タスクを使用して、パターン認識におけるスピン発振器の役割を研究します。各正弦波または方形波には 8 つの個別の赤い点が付けられており、タスクでは赤い点で正弦波と方形波を区別する必要があります。図 3b は、空間ニューラル ネットワークで青色で示されたパスを作成するには、多くの非線形ニューロンが必要であることを示しています。図 3c に示すように、パスは、たとえば各発振器の振幅の非線形軌跡に基づいて、時間の観点から定義することもできます。各入力は発振器の振幅内の特定のパスを引き起こし、時間ステップが発振器の緩和時間の一部に設定されている場合、一時的な動的状態が生成されます。これは、ニューロンが空間的に分離されている従来のニューラル ネットワークとは対照的に、単一の発振器が時間的に接続された仮想ニューロンのグループとして機能することを意味します。この関数は過去のイベントのメモリ プールを作成し、以前の入力が異なっていた場合に発振器が同じ入力に対して異なる応答をできるようにします。発振器の緩和時間は有限であるため、正弦波と矩形波を完全に分離することが可能です。

ハードウェア上でニューラル ネットワークの反復トレーニングをシミュレートすると、処理の異常を補正することもできます。前述のように、アナログ ハードウェアの場合、歪みはダイナミクスにおいて重要な役割を果たす可能性があります。ネットワークのパフォーマンスは基本的にパラメータを正確にトレーニングすることに左右されるため、これらの異常を制御することが重要です。

オンライン トレーニングによって提供される補償は、ソフトウェア トレーニングされたディープ ニューラル ネットワークから変換された BrainScaleS ウェーハ スケール ニューロン システム上のスパイク ネットワークを使用して実証されます。次に、各トレーニングフェーズ中にサーキットトレーニングセッションを実行し、アクティビティを記録します。ネットワーク アクティビティは最初にハードウェアに記録され、バックプロパゲーション アルゴリズムを使用して処理され、パラメータが更新されます。研究者らは、トレーニング段階ではパラメータの更新が正確である必要はなく、正しい勾配の傾向に大まかに従うだけでよいことを発見しました。したがって、このモデルでの更新の計算は簡素化できます。シミュレートされた基板には固有のばらつきがあるにもかかわらず、このアプローチにより迅速な学習が可能になり、わずか数十回の反復で理想的なソフトウェア シミュレーション プロトタイプに近い精度に到達できます。

ニューロモルフィック ハードウェアの実装では、システムの精度に関して別の大きな課題に直面することがよくあります。シナプス重みの精度が限られているため、システムの精度が低下し、ニューロモルフィック システムの広範な応用が妨げられています。

ナノスケールの発振器は連続的なアナログ抵抗を実現するはずですが、実際のデバイスでは、いくつかの安定した抵抗状態しか実現されていません。最近の研究では、シナプスを 1 レベルの精度で学習するための 3 つの修正方法が提案されています。

1. 分布を考慮した量子化 (DQ) は、異なるレイヤーの重みを異なる値に離散化します。この方法は、ネットワークのさまざまな層の重みの観察に基づいています。
2. 量子化正則化 (QR) は、トレーニング中にネットワークの離散重みを直接学習します。正規化により、重みとそれに最も近い量子化レベル間の距離を固定勾配で短縮できます。
3. 動的バイアスチューニング (BT/バイアスチューニング) は、量子化への影響を最小限に抑えるための最適なバイアス補正を学習できます。これにより、ニューロモルフィック システムのメモリスタにおけるシナプス変化の影響も軽減される可能性があります。

これら 3 つの方法により、モデルは現在の最先端技術に匹敵する画像分類精度を達成できます。実験は、それぞれ多層パーセプトロンと畳み込みニューラル ネットワークを使用して、MNIST データセットと CIFAR-10 データセットで実施されました。

表 2 の結果は、3 つの精度向上方法のうち 1 つのみを使用した場合、ベースライン精度と比較して精度が大幅に向上する (それぞれ 1.52%、1.26%、0.4%) ことを示しています。 2 つまたは 3 つの方法を同時に使用すると、精度がさらに高まり、理想値に近くなります。畳み込みニューラル ネットワークを使用する場合にも、同様の観察結果が得られます。 QR + BT などの組み合わせでは、QR のみを使用した場合と比較して精度の向上は見られません (表 2 を参照)。これはおそらく、MNIST が比較的単純なデータベースであり、これら 3 つの方法によって達成された精度の向上がすぐに飽和レベルに達したためと考えられます。多層パーセプトロンと畳み込みニューラルネットワークの場合、精度の低下は0.19%（MNISTデータセット）と5.53%（CIFRAR-10データセット）に抑えられ、これら3つの方法を使用しないシステムの精度の低下よりも大幅に低くなりました。

結論は

機械学習のアルゴリズムとモデルが進歩するにつれて、新しいアーキテクチャがますます必要になります。ニューロモルフィック デバイスは、消費電力が低く、高度に並列化された高速コンピューティング速度を備えているため、人工知能や認知コンピューティング アプリケーションで大きな可能性を秘めています。現在のニューロモルフィック チップはまだ理論レベルですが、実用的なアプリケーションや市場性のある製品に向けて進んでおり、研究者らは有望な研究をいくつか実証しています。これは将来の方向性であり、コンピューティングの世界に大きな革命を起こす可能性を秘めています。

「私は、人間がどのようにして超並列システムを作るかについて考えてきましたが、私たちが持っている唯一の例は動物の脳です。私たちは多くのシステムを構築してきました。網膜、蝸牛など、機能するものをたくさん作りました。しかし、超並列システムを作ることは、私がこれまで考えていたよりもはるかに大きな仕事です。」—マーバー・ミード

[[195949]]

参考文献:

• https://web.stanford.edu/group/brainsinsilicon/documents/MeadNeuroMorphElectro.pdf (スタンフォード ニューロモルフィック電子システム論文)
• https://www.nextplatform.com/2017/02/11/intel-gets-serious-neuromorphic-cognitive-computing-future/ (Intel のニューロモルフィックおよびコグニティブ コンピューティング向け次世代プラットフォーム)
• http://news.mit.edu/2011/brain-chip-1115 (人間の脳を模倣した MIT チップ)
• https://www.youtube.com/watch?v=cBJnVW42qL8 (Matt Grob: 脳にヒントを得たコンピューティング、Qualcomm 提供)
• https://www.youtube.com/watch?v=_YQTp3jRMIs (ニューロモルフィック - 機械から生命へ、TED トーク)
• https://arxiv.org/abs/1206.3227 (スピンデバイスを使用したニューロモルフィックハードウェア)
• https://arxiv.org/abs/1703.01909 (BrainScaleS ウェーハスケールシステムでのディープネットワークのトレーニング)
• https://arxiv.org/abs/1701.01791 (ニューロモルフィックシステムにおける分類タスク)
• https://arxiv.org/abs/1701.07715 (ナノスケールスピン発振器上のニューロモルフィックコンピューティング)
• https://www.technologyreview.com/s/526506/neuromorphic-chips/ (ニューロモルフィック チップ)
• https://science.energy.gov/~/media/bes/pdf/reports/2016/NCFMtSA_rpt.pdf (ニューロモルフィック コンピューティング - 材料からシステム アーキテクチャまで)