各行列乗算には1光子未満が使用され、手書き数字認識の精度は90％を超え、光ニューラルネットワークの効率は数桁向上します。

現在、ディープラーニングは、ゲーム、自然言語翻訳、医療画像分析など、ますます多くのタスクで人間を上回っています。しかし、電子プロセッサ上でディープニューラルネットワークをトレーニングして実行するにはエネルギーコストが高いため、ディープラーニングの進歩が妨げられてきました。そのため、深層学習の物理プラットフォームに代わる光ニューラル ネットワークの実現可能性が広く注目されています。

理論的には、光ニューラル ネットワークは、従来のデジタル コンピューターに導入されるものよりもエネルギー効率が高い可能性があります。最近の研究では、コーネル大学などの研究者らが、光ニューラル ネットワークが手書きの数字の分類において極めて高い精度を達成できることを実証しました。重み付け乗算に検出された約 3.2 個の光子を使用した結果、99% の精度が達成されましたが、わずか約 0.64 個の光子 (約 2.4×10^-19 J の光エネルギー) を使用した場合でも、90% を超える精度が達成されました。

論文リンク: https://arxiv.org/pdf/2104.13467.pdf

この研究の実験結果は、最大約 500,000 のスカラー (重み) 乗算を同時に実行し、超並列行列ベクトル乗算演算を実行できるカスタム自由空間光プロセッサを使用して達成されました。

市販の光学コンポーネントと標準的なニューラル ネットワーク トレーニング方法を使用することで、光ニューラル ネットワークは、標準的な量子限界に近い極めて低い光パワーで非常に高い精度を実現できます。このような結果は、低光電力動作の原理を証明し、光プロセッサの実現への道を開きます。データの保存と制御のための電子システムを慎重に設計することで、各スカラー乗算に必要な総エネルギーは 10^-16 J のみとなり、これは現在のデジタル プロセッサよりも数桁効率的です。

光行列ベクトル乗算器の実験装置構成。 aは光学装置の概略図、bは概略図に対応する主な実験機器です。

大規模光学行列ベクトル乗算

光行列ベクトル乗算器でエネルギー上の利点を実現するための鍵は、乗算する行列とベクトルをできるだけ大きくすることです。増幅されると、電子信号と光信号間の変換コストのためのバッファスペースを備え、大規模な乗算および累積演算を光領域で完全に並列に実行できるようになります。光学では、並列操作を実現するためのさまざまなアプローチがあります。波長多重化、フォトニクスにおける集積回路空間多重化、3D 自由空間光プロセッサにおける空間多重化などです。

現在までに、すべての多重化アプローチとアーキテクチャにおいて、アナログ ONN はより小さなベクトル、つまりベクトル ドット積 (畳み込み層と完全接続層を実装するための基本演算として) または行列ベクトル乗算 (完全接続層の場合) を使用しており、ベクトルは最大 64 次元 (10^3 よりはるかに小さい) に制限されています。これが、光プロセッサのエネルギー消費が理論的に予測されるよりも高い根本的な理由です。

そこで研究者らは、大規模な行列ベクトル乗算を実行できる 3D 自由空間光プロセッサを使用して、下の図 a に示すように、スカラー乗算あたり 1 光子未満の光子を使用して画像を分類する ONN アーキテクチャを構築し、ONN の量子限界理論効率ピークを達成しました。

研究者らが設計・構築した光学プロセッサは、次の方式を使用して行列ベクトル乗算画像を実行します。

• 入力ベクトル ~x の各要素 x_j を、光源ピクセルによって照らされた個別の空間パターンの強度としてエンコードします。
• 各行列要素w_ijを変調器ピクセルの透過率としてエンコードします。
• 有機発光ダイオード（OLED）ディスプレイを光源として使用する。
• 強度変調は空間光変調器 (SLM) を使用して実行されました。

行列とベクトルの乗算は、次の 3 つの物理的なステップで計算されます。

• ファンアウト: 入力ベクトルの要素は 2D ブロックに空間的に配置されます (図 1b、左上)。入力ベクトル画像を表す 2D ブロックは、行列 W の行数と同じ回数複製され、図 1b (上段) に示すように OLED ディスプレイ上に並べられます。
• 項ごとの積: 単一のスカラー要素 x_j をエンコードする各 OLED ピクセルは、SLM 上の対応するピクセルに整列して画像化され、その透過率は ∝w_ij に設定され、スカラー乗算 w_ij x_j が実行されます (図 1b 下部中央)。
• 光学ファンイン: 各ブロックの強度変調ピクセルは、それらによって透過された光を検出器に集中させることによって物理的に合計されます。 i番目の検出器に衝突する光子の総数は、行列ベクトル積yの要素y_iに比例します（図1b、右下）。各 y_i は、入力ベクトル画像と行列 W の i 番目の行の間のドット積として解釈できます。

光がセットアップを通過すると、行列ベクトル乗算に含まれるすべてのスカラー乗算と加算が並列に計算されます。光強度のベクトル要素のエンコードにより、セットは非負の要素を持つ行列とベクトルを使用して行列ベクトル乗算を実行するように制限されます。さらに、このシステムでは、オフセットとスケールを使用して計算を非負数のみを含む行列ベクトル乗算に変換することにより、正と負の両方の要素を持つ行列とベクトルに対して行列ベクトル乗算を実行することもできます。

システムによって計算された各ベクトル-ベクトル内積について、項ごとの積に対応する空間パターンが単一の検出器に焦点を合わせられ、項ごとの積が合計されます。したがって、検出器の出力はドット積の答えに比例し、信号対雑音比 (SNR) はショット雑音限界で√N に比例します。ベクトルが十分に大きい場合、空間モードあたりの光子の平均数が 1 よりはるかに少ない場合でも、検出器に当たる光子の総数は 1 よりはるかに大きくなる可能性があるため、図 1c に示すように、ドット積の答えを正確に読み取ることができます。

サブフォトンドット積の精度

低い光電力消費でのシステムの実際のパフォーマンスを理解するために、研究者は光子の数を調整しながらその精度を特徴付けました。最初の特性評価実験では、研究者らはランダムに選択されたベクトルのペアのドット積を計算し（図 2a）、ドット積計算によって得られた特性評価結果を一般的な行列-ベクトル乗算設定（ベクトル-ベクトルドット積計算として表示）に直接適用しました。

ドット積計算の答えはスカラーなので、必要な検出器は 1 つだけです。ドット積の答えをエンコードする光信号は、単一光子を分解できる高感度光検出器によって測定されます。検出器の積分時間を変え、OLED ディスプレイの直後に中性密度フィルターを挿入することで、各ドット積に使用される光子の数を制御できます。

このセットアップが、大きなサイズのベクトルに基づくスカラー積あたり 1 光子未満の計算に使用できることを実証するために、研究者らは、上の図 2b に示すように、サイズが約 500,000 のベクトル間のドット積の数値精度を測定しました。スカラー倍数あたり 0.001 光子の場合、測定誤差は約 6% となり、この誤差の主な原因は検出器のショット ノイズです。使用される光子の数が増えるにつれて誤差は徐々に減少し、2 個以上の光子が乗算されるたびに最小誤差が約 0.2% に達します。

実験的に得られたアナログデジタル精度とデジタルプロセッサのデジタル精度を比較できるようにするために、研究者は測定された各アナログ誤差率を、計算されたドット積の答えに対応する精度の有効ビット数として解釈しました。ノイズ等価ビットメトリックを使用すると、シミュレートされた 6% の RMS エラーは 4 ビットに相当し、0.2% の RMS エラーは約 9 ビットに相当します。

研究者らはまた、スカラー乗算ごとに使用する光子の数が少ない場合、より短いベクトル間のドット積を計算できることを実証しました (図 2c)。 1 回の乗算あたり 0.001 ～ 0.1 光子の範囲の光子バジェットの場合、テストされるすべてのベクトルがどれだけ大きくても、数値誤差はショット ノイズによって支配されます。使用される光子の数が十分に大きい場合、誤差はショットノイズによって支配されなくなり、これは図 2b に示されている単一ベクトル振幅の結果と一致します。テストされた各光子予算について、より大きなベクトル間のドット積誤差は低くなります。これはおそらく、より大きなベクトル間のドット積では、より多くの項の実際の平均化が行われるためです。

サブ光子増幅を用いたONN

非常に限られた光子予算を使用するため、乗算エラーが発生します。 ONN がどの程度の誤差を許容できるかを判断するために、研究者らはトレーニング済みのニューラル ネットワークを実行し、使用した光子の数に基づいて分類精度を測定しました。

下の図 3a に示すように、研究者は MNIST データセットを使用した手書き数字の分類をベンチマーク タスクとして使用し、低精度推論ハードウェア (量子化を考慮したトレーニング) 用にバックプロパゲーションを使用して 4 層の完全接続多層パーセプトロン (MLP) をトレーニングしました。

研究者らはまず、MNIST データセットの最初の 130 枚のテスト画像を、スカラー乗算あたり 0.03、0.16、0.32、0.64、3.2 光子の 5 つの異なる光子予算で評価しました (図 3b の中央のオレンジ色の点)。

その後、乗算ごとに 3.2 個の光子を使用すると分類精度が約 99% になることがわかりました (図 3b、右上)。これは、デジタル コンピューター上で実行される同じトレーニング済みニューラル ネットワークの精度 (99%) とほぼ同じです。サブ光子領域では、1回の乗算あたり0.64個の光子を使用して、ONNは90%を超える分類精度を達成します（図3b、上部）。

実験結果は、ショットノイズにさらされた ONN によって実行された同じニューラル ネットワークのシミュレーション結果とよく一致しています (図 3 b 中央のパネル、濃い青の線)。図 3b に示すように、99% の精度を達成するには、手書き数字の推定ごとに検出される総光エネルギーは約 1 pJ です。これらの実験で使用された重量マトリックスでは、平均 SLM 透過率は約 46% でした。

したがって、SLM の避けられない損失を考慮すると、1 回の推論に必要な総光エネルギーは約 2.2 pJ になります。 1 pJ は電子プロセッサでの 1 回のスカラー乗算で使用されるエネルギーに近いですが、研究者のモデルでは推論ごとに 89,400 回のスカラー乗算が必要でした。

コーネル大学の研究者たちは、標準的なニューラル ネットワーク モデル アーキテクチャとトレーニング手法を使用して、再トレーニングを実行することなくモデルを実行しました。ソフトウェア開発とハードウェア開発の分離が成功したことは、研究者の光ニューラル ネットワーク (ONN) が、ML ソフトウェア ワークフローに大きな変更を加えることなく、他の従来のニューラル ネットワーク アクセラレータ ハードウェアを置き換えることができることも示唆しています。

同時に、これらの研究結果は、原理的には光ニューラルネットワークの方が電子ニューラルネットワークよりも基本的なエネルギー上の利点があることを示しています。光ニューラル ネットワークは、標準的な量子限界 (つまり、光ショット ノイズ) によって達成可能な精度が決まる光子予算領域で動作できます。