人工知能のもう一つの方向性：メモリスタに基づくストレージおよびコンピューティング技術

[[325184]]

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

過去 10 年間、ディープ ニューラル ネットワークに代表される人工知能技術は人類社会に大きな影響を与えてきました。しかし、ディープニューラルネットワークの開発はボトルネック期を迎えており、依然として弱い人工知能の時代にあります。強力な人工知能に一歩近づくにはどうすればよいかは、あらゆる知能研究者の頭の中にあります。

アルゴリズムの改善は強力な人工知能への一つの方向であり、脳にヒントを得たハードウェア設計は人工知能のもう一つの方向です。

人間の脳をハードウェアレベルで研究することで、知能研究にどのようなメリットがもたらされるのでしょうか?我が国の脳型コンピューティングに関する研究が深まるにつれ、この問題に疑問を抱く学者が増えています。

2020年4月25日、Future Forum Youth Entrepreneurship Allianceオンライン学術セミナーにおいて、AI+脳科学をテーマにしたテーマ別ディスカッションが開催されました。計6名のゲストが講演し、「AIのための脳科学」と「脳科学のためのAI」という2つの異なる視点から最先端の議論が行われました。

その中で、清華大学の呉華強教授は「脳にヒントを得たストレージとコンピューティングの統合技術」と題した報告を行った。報告書の中で、呉教授は次のように紹介しています。「将来のコンピューティングを考えるとき、量子コンピューティングと光コンピューティングは物理学に答えを求めており、脳のようなコンピューティングとストレージコンピューティングの統合は生物学、つまり脳に答えを求めています。」

現在、ウー教授はチップ上の新しい電子シナプスデバイスに取り組んでおり、ストレージとコンピューティングの統合アーキテクチャを開発しています。新しいデバイスの主な研究はメモリスタであり、これはマルチビットと不揮発性、つまり電源を切っても抵抗値を維持できるという特徴があり、非常に高速です。

さらに、ウー教授は、ストレージとコンピューティングが統合された構造で設計されたチップを、ラズベリーパイの28nm CPUと比較したとも述べています。同じ精度で、前者は1万枚の画像を実行するのに3秒かかりましたが、後者は59秒かかりました。

[[325185]]

呉華強氏は、清華大学マイクロナノエレクトロニクス学部の教授、清華大学マイクロナノエレクトロニクス学部の副学部長、清華大学マイクロナノプロセッシングプラットフォームのディレクター、北京未来チップテクノロジー先進イノベーションセンターの副センター長を務めています。

呉華強：

私のレポートでは、ハードウェアの課題、研究の進捗状況、展望という 3 つの側面から、脳に着想を得たストレージとコンピューティング技術を紹介します。

人工知能は、クラウドから携帯電話まで、あらゆるところに存在しています。人工知能のアプリケーションによって、チップに対する要求は異なります。たとえば、データセンターや自律走行車では非常に高い計算能力が求められますが、スマートセンサーネットワーク、モノのインターネット、携帯電話では、エネルギー消費を抑え、高いエネルギー効率を追求することが求められます。さまざまなアプリケーションからのチップに対するさまざまな需要により、チップ分野には多くのチャンスが生まれています。

人工知能の 3 つの発展の波も、ハードウェアの計算能力に関連しています。

最初のニューラルネットワークであるパー​​セプトロンネットワーク AI が普及し始めた頃から、1970 年代に AI が低迷するまで、優れた理論モデルがあったにもかかわらず、計算能力が十分ではなかったことが非常に重要な要因でした。

その後、エキスパートシステムが登場し、第二の波が始まりました。現在、多くの人が人工知能を中心としたコンピューターに取り組んでいます。同時に、ムーアの法則によりチップの開発が急速に促進され、汎用コンピュータの性能が急速に向上しました。汎用コンピュータはプロ用コンピュータと同じことができるため、徐々に市場を占有し、再び第2の波が到来しました。

第 3 の波では、ディープ ニューラル ネットワークの導入から、ネットワーク トレーニングを加速するための GPU の使用まで、GPU が AI の主なトレーニング プラットフォームになりました。計算能力が向上すると、ネットワークの規模は急速に拡大します。 AlphaGo Zero が世界最強の囲碁プレイヤーになるには、40 日間のトレーニングに 5,000 個の TPU が必要であり、これは非常に時間がかかります。したがって、人工知能の広範な応用には、人工知能の発展をサポートするハードウェア機能の革新が必要です。

c4b8.jpg" target="_blank">c4b8.jpg" width="auto" border="0" height="auto" alt="" title="">

チップが提供できる計算能力と人工知能への高い需要は大きな矛盾を抱えています。最初のコンピューターである ENIAC は 1947 年に登場し、その計算能力は 1 秒あたり約 5,000 回でした。 Intelの2019年のCPUは約20.8GFLOPSです。その変化は、18 か月ごとに統合レベルを 2 倍にすることでコンピューティング能力を向上させるというムーアの法則を中心に展開されていることがわかります。しかし現在、AIの需要は3.4か月ごとに倍増しています。したがって、コンピューティング能力を提供するための新しい方法を見つける必要があります。

コンピューティング能力の向上がますます困難になっている理由は2つあります。1つは、かつてはデバイスをどんどん小さくしていくのがムーアの法則でしたが、現在ではデバイスのサイズが物理的限界に近いレベルまで縮小されているため、ムーアの法則は徐々に無効になりつつあることです。第二に、従来のコンピューティング アーキテクチャの開発によってもたらされたパフォーマンスの向上は、ますます遅くなってきています。現代のコンピューティング システムは、一般的に、情報の保存とコンピューティングを分離するフォン ノイマン アーキテクチャを採用しており、そのコンピューティング パフォーマンスは、データの保存と転送速度によって制限されます。具体的には、CPU の計算速度は 1 ナノ秒未満ですが、メインメモリ DRAM は約 100 ナノ秒であり、ストレージ速度が計算速度よりもはるかに遅いことを意味します。

エネルギー消費量で見ると、TSMCの45nmプロセスを例にとると、加算、減算、乗算は1pJ未満ですが、32ビットDRAMの読み取りは640pJにも達し、その差は100倍にもなります。したがって、ストレージの速度は CPU の速度よりもはるかに遅く、ストレージの電力消費は CPU の電力消費よりもはるかに高くなります。これには、さらに多くの電力を消費するストレージへの書き込みについては言及されていません。このように、システム全体のパフォーマンスはデータの保存速度と転送速度によって制限され、ストレージの読み取りと書き込みの電力消費が大きいためエネルギー消費も非常に高くなり、システム全体の電力消費が高くなります。

現在、量子コンピューティング、光コンピューティング、脳のようなコンピューティング、統合ストレージとコンピューティングなど、多くの新しいタイプのコンピューティングが登場しています。したがって、コンピューティングの将来について考えるとき、量子コンピューティングと光コンピューティングは物理学に答えを求めているのに対し、脳のようなコンピューティングとストレージコンピューティングの統合は生物学、つまり脳に答えを求めていると私は個人的に考えています。

有名な人間対機械の戦いでは、人工知能プレイヤーの AlphaGo が 176 個の GPU と 1202 個の CPU を使用し、消費電力は 150,000W でした。私たちの脳の容積は約 1.2L、ニューロンは 10^11 個、シナプスは 10^15 個あり、思考時に 20W の電力を消費します。脳は消費電力が非常に少なく、非常に賢く、ニューロンとシナプスの容量が非常に大きいです。そこで私たちは、脳を利用して新しい人工知能チップの設計にインスピレーションを与えたいと考えています。

私たちは生物学者や神経科学者から学び、脳がどのように計算を処理するかを知りたいのです。脳にはいくつかの特徴があります。1 つは、大量のニューロン接続と、ニューロンとシナプスの構造を備えていることです。1 つのニューロンは、約 10,000 個のシナプスに接続されています。時空間情報をエンコードする 2 番目の方法は、パルスを使用することです。私たちは、脳の構造と動作メカニズムを模倣し、入力と出力にパルスコーディングを使用したいと考えています。

生物学的シナプスは、情報の保存と処理のための最も基本的な生物学的装置です。私たちは、チップ上に新しい電子シナプスデバイスを作り、統合されたストレージとコンピューティングのアーキテクチャを構築したいと考えています。新しいデバイスとしては、マルチビットかつ不揮発性（電源を切っても抵抗値を維持できる）という特徴を持ち、非常に高速なメモリスタを主に研究しています。もう一つの重要なポイントは、集積回路のCMOSプロセスと互換性があり、大規模に集積できることです。私たちは、このデバイスの最適化とコンピューティング機能に約 10 年間取り組んできました。

米国 DARPA の FRANC プロジェクトは、アナログ信号処理を使用して従来のフォン・ノイマン型コンピューティング アーキテクチャを超え、システムのコンピューティング パフォーマンスを向上させることを提案しています。任正非氏は2019年のインタビューで、将来エッジコンピューティングはCPUをメモリに統合するか、メモリをCPUに統合するかのいずれかになるだろうと語りました。これにより、フォン・ノイマン構造が変化し、ストレージとコンピューティングが高速に1つに統合されます。アリババは、2020年のトップ10テクノロジートレンドの中でコンピューティングとストレージの統合を挙げ、ストレージとコンピューティングの統合アーキテクチャを通じてAIコンピューティングパワーのボトルネックを打破したいとしている。統合ストレージとコンピューティングの概念も、脳の計算方法からヒントを得ています。

メモリスタに基づくストレージとコンピューティングの統合技術は、3 つの段階に分けられます。第 1 段階は、単一のデバイスの開発段階です。 2008年、HP LabsのStan William教授が初めて研究室でメモリスタを開発しました。その後、ミシガン大学のLu Wei教授が電子シナプスの概念を提唱し、UCSB大学のXie Yuan教授がメモリスタに基づくPRIMEストレージとコンピューティングの統合アーキテクチャを提案し、大きな注目を集めました。

第2段階はアレイの構築から始まりました。2015年、UCSBは12×12アレイ上で3つの文字を認識することを実証しました。2017年、私たちのチームは128×8アレイ上で3つの顔を認識することを実証し、その精度は95%を超えました。同じ時期に、IBM、UMass、HPなどの研究チームもアレイ上でのストレージとコンピューティングの統合を実験的に実現しました。

第三段階は、ストレージとコンピューティングの統合チップです。チップ設計分野のトップカンファレンスであるISSCCで近年発表された論文を例にとると、2018年にパナソニックが多層パーセプトロンのマクロ回路を実演しました。2019年には、台湾の新竹にある国立清華大学とTSMCが共同で畳み込みカーネルコンピューティングのマクロ回路を実演しました。今年は、清華大学とスタンフォード大学が協力して、制限ボルツマンマシンのマクロ回路を開発しました。

今年、清華大学チームは、ストレージとコンピューティングを完全に統合したチップを完成させました。システムテストの結果から判断すると、このチップのエネルギー効率は78.4TOPS/Wと非常に高い数値です。また、比較してみましたが、1つはストレージとコンピューティングを統合したチップとシステムで、もう1つはRaspberry Pi 28nm CPUを使用しています。当社のチップは 10,000 枚の画像を処理するのに 3 秒かかりますが、彼らのチップは 59 秒かかります。当社の速度ははるかに速いですが、精度は同等です。

今年 1 月に、私たちはメモリスタ ストレージおよびコンピューティング システムに関する研究成果を Nature 誌に発表しました。この作業は主に、複数のアレイを組み合わせてシステムを形成し、それをアナログコンピューティングに使用して AI 作業を実装できるかどうかを検証することです。ソフトウェアに匹敵する計算精度を実現する新しいハイブリッド トレーニング アルゴリズムを提案します。新しい畳み込み空間並列アーキテクチャも提案され、システムの処理速度が飛躍的に向上しました。

メモリスタストレージとコンピューティングが人工知能に適しているのはなぜですか?クロスアレイ構造は高速な行列ベクトル乗算に特に適しているためです。ストレージとコンピューティングを統合することで、重量移動によって発生する電力消費と遅延を削減し、現在のコンピューティング能力のボトルネックを効果的に解決できます。さらに、人工知能は各デバイスの精度よりもシステムの精度に重点を置いており、これは特にメモリスタとアナログコンピューティングの特性と一致しています。

また、Bi Guoqiang教授と共同でレビュー記事を執筆しました。脳にヒントを得たデザインを使用して人工知能チップを設計し、I/O チャネルからシナプス、ニューロン、神経回路、脳全体の構造に至るまで、脳と電子機器を比較しました。記事のタイトルは「Bridging Biological and Artificial Neural Networks」で、2019年にAdvanced Materialsに掲載されました。ご興味があれば、こちらの記事をお読みください。

将来的には、ストレージとコンピューティングを統合したコンピュータシステムを構築したいと考えています。以前は、トランジスタとブール論理とフォン・ノイマン・アーキテクチャでしたが、現在はアナログ・メモリスタとアナログ・コンピューティングおよびストレージ統合型非フォン・アーキテクチャです。

OMT: 脳科学がAIにどのように役立つか

講演後、中国科学技術大学神経生物学・生物物理学科長の畢国強教授、北京大学情報科学技術学院終身教授の呉思教授ほか3名の報告者が、脳科学がAIの発展にどのような考え方、方法、技術を提供してきたかについて語りました。典型的なケースにはどのようなものがありますか?白熱した議論が行われました。

会議で胡暁林氏は次のように述べた。「多くの研究は、実は脳科学にヒントを得ています。1943年に遡ると、マイクとピッツが初めて人工ニューロン、MPニューロンを提案しました。彼らが人工ニューロンを提案していなかったら、その後のCNNなどは存在しなかったでしょう。彼らは実際に神経科学をやっていたのです。彼らは計算モデルを発明し、脳の働きを説明しようとしました。彼らが提案したのは、この論理演算MPニューロンです。」その後、ローゼンバルトは MP ニューロンを拡張し、多層パーセプトロンを実現しました。その後、1989年と1990年に、Yan LeCunらがネオコグニトロンモデルに触発されたCNNを提案しました。ネオコグニトロンは日本の福島氏によって提案されました。私は彼の論文を実際に見つけました。ネオコグニトロンの構造は、現在のCNN構造とまったく同じです。唯一の違いは学習方法です。ネオコグニトロンが1980年に提案されたとき、BPアルゴリズムはありませんでした。ネオコグニトロンはどのようにして生まれたのでしょうか?これは、猫の視覚皮質には単純細胞と複雑細胞の 2 種類の細胞があるという神経科学の発見にヒントを得たものです。ネオコグニトロンは、脳が物体を認識する仕組みを説明するために、この 2 種類の細胞の特性に基づいて構築されました。その後、CNN に発展しました。 MP ニューロンとネオコグニトロンは、2 つの画期的な手法です。これらは、神経科学にヒントを得た AI の典型的な研究であり、破壊的とも言えるものです。

正直に言うと、ニューラル ネットワークと人工知能の台頭に関して言えば、この発展の時期に脳にヒントを得た特に興味深い研究を私はあまり見たことがありません。私もこの分野でいくつかの研究を行ってきましたが、脳科学にヒントを得た現在の計算モデルのいくつかは、先ほど述べた 2 つのモデルほど意味のあるものではないようです。この分野で、脳にヒントを得た新しい手法が生まれることを期待しています。たとえ現時点での成果が非常に乏しいとしても、10年後、あるいは数十年後には基礎研究になるかもしれません。

Wu Si: AI をどのように定義するかを検討する必要があります。情報理論、動的システム解析、統計学習などを広く含めると、これらは計算神経科学で日常的に使用されているツールであり、脳科学の発展に貢献してきました。ディープラーニングなどの最新技術を重視するのであれば、AIを脳科学にどう応用するかが現在注目されている研究分野です。清華大学の胡暁林教授をはじめ、国際的に多くのグループが存在します。彼らは視覚システムをディープラーニングネットワークとして扱い、このディープラーニングネットワークをトレーニングしながら、生物学的制約をいくつか追加します。そして、比較手法を使用してシステムが何を学習できるかを確認し、生物学的視覚認知の疑問に答えます。

唐華金：呉思教授の発言に付け加えさせてください。伝統的に、AIは視覚神経と視覚皮質に非常に重要なビッグデータ分析ツールを提供してきました。現在、AIは、特に高スループットの脳イメージングや非常に洗練された脳モデルの構築において、非常に重要なビッグデータツールを提供しています。AIビッグデータは重要な役割を果たしています。ゼブラフィッシュの活動など、脳活動のリアルタイム分析もあります。これらのニューロンの活動をリアルタイムで同時に記録し、それらのニューロンの活動を一致させる方法は、AIディープラーニングが脳科学者にデータや統計データの分析を支援する非常に重要な役割であり、3次元再構成や樹状突起と軸索の接続構造などが含まれます。AIは依然として詳細な説明のための優れたツールを提供します。