AIチップブラックテクノロジーインベントリ

ビッグデータとディープラーニングの利用が増えるにつれて、基盤となるハードウェアとチップに新たな要件が課せられるようになります。 「処理能力」を重視する従来のプロセッサとは異なり、ビッグデータやディープラーニングのアプリケーションでは、「計算能力」と「エネルギー効率」が重視されることが多いです。ビッグデータやディープラーニングのアプリケーション アルゴリズムにおける特徴抽出と処理には実際のコンピューティングが必要になることが多いため、計算を最短時間で完了するには、高いコンピューティング能力を備えたチップが必要です。一方、エネルギー効率比も重要な指標です。エネルギー効率比とは、計算を完了するために必要なエネルギーを指します。エネルギー効率比が優れているほど、同じ計算を完了するために消費されるエネルギーが少なくなります。

[[237425]]

端末チップの場合、データのプライバシー、ネットワーク伝送帯域幅、処理遅延などの問題により、クラウドデータセンターに送信して計算することができないデータがますます増えています。そのため、端末チップは端末で計算を完了できる必要があります。同時に、端末デバイスのバッテリー容量は限られていることが多いため、端末チップは計算を完了する際に大量のエネルギーを消費することはできません。つまり、優れたエネルギー効率比が求められます。クラウド データ センターのチップも優れたエネルギー効率比を備えている必要があります。データ センターでは放熱コストが大きな費用となるため、チップの放熱は大きすぎてはなりません。

ビッグデータやディープラーニングのアプリケーションでは、データは独立していることが多いため、並列で計算できます。従来の CPU は並列コンピューティング機能が限られているため、コンピューティング能力の要件を満たすことが困難です。 GPU は高い計算能力 (10TOPS 程度) を持ち、データセンターで使用されていますが、消費電力も非常に高く (数百ワット)、そのアーキテクチャでは、端末がより低い消費電力 (100mW 未満など) を必要とするシナリオを実現できないと判断されています。同時に、データセンター分野でも、GPU 設計の本来の意図はビッグデータ コンピューティングではなく画像レンダリングであるため、まだ改善の余地が多く残っています。

その結果、AI チップの分野では、CPU や GPU に挑戦しようとする学界や産業界のプロジェクトが数多く登場しています。これらのプロジェクトは、大きく分けて 2 つのカテゴリに分けられます。1 つは、従来のデジタル プロセッサ モデルをベースにしながらも、プロセッサ アーキテクチャを改良して計算能力とエネルギー効率を高めるものです。2 つ目のカテゴリは、異なるアプローチを採用し、従来のプロセッサとはまったく異なる方法で計算を実行することで、一部の領域で従来のプロセッサよりもはるかに高いパフォーマンスを実現します。本日ご紹介するのは、2 番目のカテゴリのテクノロジの概要です。2 番目のカテゴリのテクノロジの一部は、時の試練に耐え、最終的には主流のテクノロジになると期待しています。

ニューロモルフィックコンピューティング

ニューロモルフィック技術には実は長い歴史があります。1980年代から1990年代にかけて、カリフォルニア工科大学の回路マスターであったカーバー・ミード氏によって提案されました。当時、ミード教授はMOSデバイスにおける電荷の流れの現象が人間のニューロンの放電現象に似ていることに着目し、MOSチューブを使ってニューロンをシミュレートし、計算用のニューラルネットワークを形成することを提案し、これを「ニューロモルフィズム」と名付けました。

ニューロモルフィック アルゴリズムのニューラル ネットワークは、現在のディープラーニング アルゴリズムのニューラル ネットワークとは少し異なることに注意することが重要です。ニューロモルフィック回路のニューラル ネットワークは、神経電位の変化や発火パルスなどのプロセスを含む、生物学的ニューロンとシナプスの高度にシミュレートされたバージョンです。このプロセスは、非同期デジタル回路と混合信号回路の両方を使用して実装できます。ディープラーニングのニューラル ネットワークは、生物学における神経組織の抽象的な数学的シミュレーションであり、充電および放電プロセスを具体的に説明することなく、電位変化の統計的特性のみを表します。しかし、この充電と放電のプロセスは、人間の脳がなぜこれほどエネルギー効率に優れているのかの鍵となるのかもしれません。人間の脳内の複雑なニューラル ネットワークは、極めて複雑な推論や認知プロセスを実現できますが、その消費電力は GPU よりもはるかに少なくなります。

2017年5月、米国のオークリッジ国立研究所は、ニューロモルフィック研究に関する重要なレビューを発表しました。ニューロモルフィックに関する研究はまだ初期段階にあり、多くのニューロモルフィックアーキテクチャの潜在能力はまだ発見されていないと言えます。同時に、ニューロモルフィック回路をどのようにトレーニングするかも重要な課題です。現在の研究から、ニューロモルフィックニューロンはアクティブでないときには消費電力が少なく、平均消費電力を低減できることがわかっており、これは重要な利点です。

たとえば、カメラと人工知能システムを導入して、誰かがカメラの視野に入ってきたかどうかを識別しようとすると、視野内に誰も現れないことがよくあります。この場合、従来のディープラーニング アルゴリズムを使用すると、カメラ内の状況に関係なく同じ計算を完了する必要があるため、消費電力は一定のままです。一方、ニューロモルフィック チップを使用すると、ニューロンは誰かがカメラに入ったときにのみアクティブになり、誰も視野に入っていないときはニューロンはスタンバイ モードになり、消費電力が非常に低くなるため、平均消費電力は従来のディープラーニング チップよりもはるかに低くなります。

言い換えれば、ニューロモルフィック回路のエネルギー効率は、従来の GPU/CPU チップよりもはるかに高くなる可能性があります。さらに、端末で使用される低電力ニューロモルフィックチップはオンライン学習も完了できますが、端末で使用される従来のディープラーニング推論加速チップにはオンライン学習機能がないことがよくあります。これらはニューロモルフィック回路の利点のほんの一部であり、ニューロモルフィック回路のその他の可能性も探求されるのを待っています。

ニューロモルフィック回路チップの潜在能力は、いくつかの大企業が計画を立て始めた理由でもあります。 IBM と Intel はどちらも、非常に高いエネルギー効率比を実現できる独自のニューロモルフィック チップ (IBM と TrueNorth、および Intel の Loihi) を発売しました。今後、ニューロモルフィックの可能性をさらに探求するために、より多くのニューロモルフィック回路チップがリリースされることを期待しています。

フォトニックコンピューティング

シリコンフォトニクス技術は現在、データセンターや5Gにおける高速データ伝送の分野でますます応用が広がっています。さらに、シリコンフォトニクスは、超低消費電力でディープラーニングの計算を直接加速するためにも使用できます。

2017年、MITのマリン・ソリヤシック教授と彼の研究グループは、光学デバイスを使用してディープラーニングの計算を加速することに関する論文をNature Photonics誌に発表しました。ディープラーニングでは、ほとんどの計算を行列演算に簡略化できます (これは、ディープラーニングに GPU を使用する原理でもあります)。また、実際のアプリケーションでは、SVD 分解を使用して行列をいくつかの特徴行列の積に分解できます。 SVD を使用して分解すると、2 つの行列の乗算は光学デバイス (位相シフター、ビーム スプリッター、減衰器、マッハ ツェンダー干渉計) を使用して実装できます。

さらに重要なのは、2 つの行列を乗算するプロセスを 2 つの光線の干渉に変換できるため、ディープラーニングの計算を光速で完了でき、理論上の消費電力はゼロであることです。この論文で提案されている設計は、まずディープラーニングの 2 つの入力を 2 つの光線に変調し、次に 2 つの光線にフォトニック チップのデバイス上で SVD 分解と干渉乗算を完了させ、最後に光信号をデジタル信号に変換して結果を読み取るというものです。 *** これらの光デバイスを同じシリコンフォトニックチップに統合して、高性能な光コンピューティングモジュールを実現できます。

MITのディープラーニングコンピューティング用光学モジュール

前述のように、光干渉を利用してディープラーニングの計算を実装すると、その計算速度は光速になります。また、行列計算の消費電力は0になります。そのため、光変調や光信号読み出しなどの光信号処理およびインターフェースモジュールの性能と消費電力を向上させることができれば、システム全体の性能とエネルギー効率を急速に向上させることができます。 MIT の光コンピューティング チームは、スタートアップ企業 Lightelligence を育成し、同社はシリーズ A の資金調達を完了しました。フォトニクスをディープラーニングに活用する見通しを待ちましょう。

インメモリコンピューティング

従来の AI アクセラレータはほぼすべてフォン・ノイマン・アーキテクチャに基づいており、つまりメモリアクセスとコンピューティングが分離されています。フォン・ノイマン・アーキテクチャの問題はメモリアクセスです。メモリアクセスの消費電力とレイテンシを削減することが難しいため、メモリがプロセッサのパフォーマンスと消費電力のボトルネックとなり、「メモリウォール」とも呼ばれます。

メモリウォール問題を解決するために、多くの学者がインメモリコンピューティングの概念を提案してきました。この概念は今年の ISSCC で特別セッションも開催され、学術界が依然としてこの方向性を認識していることを示しています。最も優れた研究は、MIT の Anantha Chandrakasan 氏のグループによって行われました。 Anantha Chandrakasan 氏は、チップ分野ではよく知られた人物です。彼女は、デジタル回路の定番教科書「Digital Integrated Circuits: A Design Perspective」の著者の 1 人です。また、低電力デジタル回路設計や UWB システムなど、多くの分野の先駆者でもあります。Chandrakasan 氏のグループは、ほぼ毎年 ISSCC で少なくとも 1 つの論文を発表しています。今年のISSCCでChandrakasanのグループが発表したインメモリコンピューティングの論文は、重みが1ビットに圧縮されたニューラルネットワークを対象としています。重みが1ビットだけの場合、畳み込みは複数のデータの平均にまで縮小でき、平均値は従来のDACで一般的に使用されている電荷平均化法を使用して簡単に実現できます。

したがって、インメモリ コンピューティングの論文では、基本的に DAC の電荷平均化に似た回路をオンチップ SRAM に接続し、メモリ内でアナログ計算を直接実装して畳み込みを実行することで、プロセッサとメモリ間でデータを移動するために多くの時間とエネルギーを費やす必要がなくなります。計算結果は、ADC を使用して再度デジタル信号に変換できます。

従来のデジタル回路 AI アクセラレータと比較して、インメモリ コンピューティングとアナログ コンピューティングを組み合わせた回路は、エネルギー効率を 60 倍以上向上させることができ、大きな可能性を示しています。もちろん、この回路は 1 ビットの重みを持つネットワークにのみ使用できます。今後、インメモリ コンピューティングがより多くのアプリケーション シナリオにどのように拡張されるか、楽しみに待ちましょう。

量子コンピューティング

量子コンピューティングは、まさに破壊的なパラダイムです。もちろん、前提条件として、まず量子コンピューターを構築できることが求められます。

量子コンピューティングと従来のコンピューティングの最大の違いは、量子コンピューティングでは量子状態が使用されることです。異なる量子状態は互いに線形に重ね合わせることができるため、量子ビットは測定前に同時に複数の状態の重ね合わせ状態になることができます。量子コンピューティングは複数の重ね合わせ状態を同時に処理できるため、多数の並列計算を実行することと同じです。

量子コンピューティングはまだ研究の初期段階にあります。現在、量子特性を利用して指数関数的な加速を実現できる量子アルゴリズムはごくわずかです。いわゆる「量子覇権」とは、特定のアルゴリズムの下では、対応する量子コンピュータを製造して、従来のコンピュータよりも高速に動作させることができることを意味します。では、量子コンピューティングはどのようにして人工知能を加速するのでしょうか。まず、量子バージョンの線形代数アルゴリズムは現在活発に研究されており、指数関数的な加速が実現すると期待されています。AIアルゴリズムの多くの計算の基礎は線形代数であるため、量子バージョンの線形代数アルゴリズムが開発されれば、人工知能の計算を大幅に加速することができます。さらに、D-Waveに代表される量子アニーリングアルゴリズムは量子化問題を高速化することが期待されており、実際に人工知能のトレーニングにおける最も重要な課題の1つは量子化ソリューションを見つけることです。そのため、量子コンピューティングは人工知能を加速させると期待されています。

GoogleとUCSBが共同で20量子ビットチップを開発

現在、量子コンピューティング チップを実装する方法は数多くあり、極低温で動作するイオントラップや超伝導回路、室温で動作する非線形光学デバイスなどがあります。これらのチップはまだ初期段階にあると言えます。一部のチップはすでに多数の量子ビットを実現していますが、量子デコヒーレンス時間と量子ゲートの忠実度が依然としてパフォーマンスのボトルネックとなっています。量子コンピューティングが実用化されるまでにはまだまだ長い道のりがありますが、ひとたび成功すれば破壊的な発展となるでしょう。そのため、Google、IBM、Microsoftなどの大企業は量子コンピューティングを積極的に導入しています。

結論

この記事では、ニューロモルフィック、オプトエレクトロニック コンピューティング、インメモリ コンピューティング、量子コンピューティングなどの新しい AI チップ テクノロジーをいくつか紹介します。フォン・ノイマン・アーキテクチャに基づく従来の人工知能アクセラレータ・チップには、メモリ・ウォールなどのさまざまな制限があります。数年後には、これらの新しいテクノロジーが正式に登場し、広く使用されるようになることを期待しています。待って見てみましょう！