科学ニュース！光速でのディープラーニングを実現、GPUに別れを告げる

GPU がディープラーニングを促進したのであれば、今日ではディープラーニングへの欲求はすでに GPU を超えています。

もちろん、GPU は常に進化しており、この巨大なニーズを満たすために TPU、IPU、MLU が登場しています。

ディープラーニングには計算能力に対する無限の需要がありますが、エネルギー消費と物理的な制限により、シリコンベースの電子部品は今のところまだそれをサポートすることはできますが、遠くにはほとんど乗り越えられない壁がすでに現れています。

何をするか？

光の速さでディープラーニング！

本日、サイエンス誌は、カリフォルニア大学ロサンゼルス校 (UCLA) の研究者による新しい研究「回折型ディープ ニューラル ネットワークを使用した全光学式機械学習」を発表しました。研究者らは、3D プリントを使用して、大量のデータを分析し、光速でターゲットを識別できる「全光学式」人工ニューラル ネットワークを作成しました。

論文アドレス: http://science.sciencemag.org/content/361/6406/1004

回折ディープニューラルネットワーク（D²NN）と呼ばれるこの技術は、物体からの光の散乱を利用して物体を識別します。この技術は、ディープラーニングベースのパッシブ回折層設計に基づいています。

研究チームはまずコンピューターシミュレーションを使用し、次に3Dプリンターを使用して8平方センチメートルのポリマー層を作成しました。各ウェーハの表面は、ターゲットからの光を回折させるために凹凸があります。

回折型 DNN は、それぞれ約 8 平方センチメートルの一連のポリマー層で構成されています。ネットワークエリア内の光の回折伝播経路を利用してターゲットを識別します。

研究者たちは、THz周波数の光を使用して、3Dプリントされたネットワーク層を貫通しました。ネットワークの各層は、光が伝播できる数万個のピクセルで構成されています。

研究者は各ターゲットクラスにピクセルを割り当て、ターゲットからの光はそのターゲットタイプに割り当てられたピクセルに回折します。これにより、回折ディープ ニューラル ネットワークは、コンピューターがオブジェクトを「見る」のにかかる時間と同じ時間でオブジェクトを認識できるようになります。

D²NN: 50 ドル未満で光速のリアルタイム学習を実現

さまざまなターゲットからの光が D²NN を通過すると、研究者はディープラーニングを使用してニューラル ネットワークをトレーニングし、各ターゲットによって生成される回折光パターンを学習します。

「私たちは層ごとに製造された受動部品を使用し、光の回折を通じてこれらの層を相互接続して、光速で機械学習タスクを実行できる独自の全光学プラットフォームを作成します」と、カリフォルニア大学ロサンゼルス校の教授で研究チームのリーダーであるアイドガン・オズカン氏は述べた。

「ガラスと鏡でできた複雑な迷路のようなものです。光は回折ネットワークに入り、迷路の周りを跳ね回ってそのエリアから出ていきます。システムは、そのターゲットによって生成された光のほとんどが迷路から出る経路に基づいて、それがどのターゲットであるかを判断できます」とオズカン氏は語った。

実験では、研究者らは画像をTHz周波数の光源の前に置いた。 D²NNは光の回折を通じて画像を観察します。研究者らは、この装置が、人工知能研究の一般的な対象である手書きの数字と衣服を正確に認識できることを発見した。

写真はD²NNデバイスがテキストを認識している様子です

訓練中、研究者らは、通常のカメラレンズと同じように、この装置をレンズとして使って画像を撮影した。

D²NN のコンポーネントは 3D プリントによって安価に製造できるため、より大きく、より多くの層を構築し、数億個の人工ニューロン (ピクセル) を含むデバイスを作成することができます。より大きなデバイスでは、より多くのターゲットを同時に識別し、より複雑なデータ分析を実行できます。

D²NN のコンポーネントは低コストです。研究者らによると、彼らが使用したD²NNデバイスの価格は50ドル未満だという。

この研究ではテラヘルツスペクトルの光が使用されたが、オズカン氏は可視光、赤外線、その他の周波数スペクトルを使用するニューラルネットワークを構築することも可能だと述べた。同氏は、3Dプリントに加えて、リソグラフィーやその他の印刷技術を使用してD²NNを作成することもできると述べた。

全光学回折型ディープニューラルネットワーク (D²NN) 用の 3D プリント回折プレート

D²NNの設計とパフォーマンス: MNIST分類の精度91.75%

この論文では、研究者らが D²NN フレームワークの技術的な詳細、実験、テスト パフォーマンスを紹介しています。

D²NN 全光学式ディープラーニング フレームワークでは、ニューラル ネットワークは、ネットワークが統計的に学習できる任意の機能を光学的に実行するために連携して動作する複数層の回折面から物理的に形成されます。この物理ネットワークの推論および予測メカニズムは光学的ですが、学習部分はコンピュータによって実行されます。

研究者たちはこのフレームワークを回折型ディープニューラルネットワーク（D²NN）と呼び、シミュレーションと実験を通じてその推論能力を実証しました。 D²NN は、複数の透過層および/または反射層を使用して物理的に作成できます。特定の層上の各ポイントは、入射する光波を透過または反射し、各ポイントは光回折によって後続の層に接続する人工ニューロンを表します。図1Aに示すように。

図1: 回折型ディープニューラルネットワークD²NN

D²NN 内の人工ニューロンは、振幅と位相によって変調された二次波を介して次の層の他のニューロンに接続されます。図 1D は標準的なディープ ニューラル ネットワークのアナロジーで、各ポイントまたはニューロンの透過係数または反射係数は「バイアス」項として考えられ、これは学習可能なネットワーク パラメーターであり、トレーニング中にエラー バックプロパゲーション法を使用して繰り返し調整されます。

この数値トレーニング段階の後、D²NN の設計が固定され、各層のニューロンの透過係数または反射係数が決定されます。この D²NN 設計は、光回折と受動光学コンポーネントまたは電力フリー レイヤーのみを使用して、トレーニングされた特定のタスクを光速で実行できるため、機械学習タスクを効率的かつ高速に実行できます。

一般に、各ニューロンの位相と振幅は学習可能なパラメータとなり、各層で複素数値の変調が提供され、回折ネットワークの推論パフォーマンスが向上します。 位相のみ変調されたコヒーレント伝送ネットワークの場合、各層は薄い光学素子として近似できます (図 1)。ディープラーニングでは、学習データを入力層に入力し、光回折計算ネットワークを介して出力することで、各層のニューロンの位相値を反復的に調整（学習）し、特定の機能を実行します。

計算されたターゲット出力エラーに基づいて、エラーバックプロパゲーションアルゴリズムを通じてネットワーク構造とそのニューロン位相値が最適化されます。エラーバックプロパゲーションアルゴリズムは、従来のディープラーニングにおける確率的勾配降下法に基づいています。

D²NN パフォーマンス: MNIST 手書き数字データセット

D²NN フレームワークのパフォーマンスを実証するために、まず、手書きの数字 0 から 9 を自動的に分類する数字分類器としてトレーニングしました (図 1B)。

このタスクを達成するために、MNIST 手書き数字データセットから 55,000 枚の画像 (5,000 枚の検証画像) を使用して 5 層の D²NN を設計しました。入力数字を D²NN 入力ドメインの大きさにエンコードし、回折ネットワークをトレーニングして、入力数字を数字ごとに 1 つずつ、10 個の検出器領域にマッピングします。分類基準は、最良の光信号を持つ検出器を見つけることであり、これはネットワークトレーニング中の損失関数に相当します。

トレーニング後、D²NN 数字分類器は、MNIST テスト データセット (トレーニングまたは検証画像セットとしては使用されません) の 10,000 枚の画像を使用して数値テストされ、91.75% の分類精度を達成しました (図 3C)。

これらの数値結果に基づいて、各層が 8 cm × 8 cm の 5 層 D²NN 設計 (下図) を 3D プリントし、回折ネットワークの出力面に10 個の検出器領域を定義しました (図 1B)。

図2: 3DプリントされたD²NNの実験テスト

次に、0.4 THzの連続波照明を使用してネットワークの推論性能をテストしました（図2、CおよびD）。

各層のニューロンの位相値は、3D プリントされたニューロンの相対的な厚さを使用して物理的にエンコードされます。この 5 層 D²NN 設計の数値テストでは、約 10,000 枚のテスト画像で 91.75% の分類精度が示されました (図 3C)。

図3: D²NN手書き数字認識装置のパフォーマンス

D²NN パフォーマンス: Fashion-MNIST データセット

次に、D²NN フレームワークの分類パフォーマンスをテストするために、研究者らは、ファッション製品の 10 のカテゴリを含む、より複雑な画像データセットである Fashion-MNIST データセットを使用しました。

Fashion-MNIST データセットにおける D²NN の分類結果を下の図に示します。 N = 5 回折層を持つ位相のみの D²NN と複素数値の D²NN の分類精度は、それぞれ 81.13% と 86.33% に達します。

回折層の数を N = 10 に、ニューロンの総数を 400,000 に増やすと、D²NN の分類精度は86.60%に向上します。比較すると、既存の研究では、約 890 万の学習可能なパラメータと約 250 万のニューロンを使用する畳み込みニューラル ネットワークに基づく標準的なディープラーニングが、Fashion-MNIST 分類精度で 96.7% というピーク性能を達成しました。

光ニューラルネットワークの応用

光回路のディープラーニングは大きな進歩であり、その現実世界の応用が徐々に現れ始めています。

光学分野の一流ジャーナル「オプティカ」によると、米国スタンフォード大学の研究者らは、人工ニューラルネットワークを光チップ上で直接トレーニングできることを実証した。この大きな進歩は、光回路が電子ベースの人工ニューラル ネットワークの主要機能を実現できることを示しており、音声認識や画像認識などの複雑なタスクをより安価に、より高速に、よりエネルギー効率の高い方法で実行できるようになります。

それだけでなく、スタンフォード大学の別の研究者グループも、電子コンピューティングプロセッサのレベルに達する画像処理の精度と速度を備えた、二層光電子ハイブリッドコンピューティング技術を使用した小型の AI 画像処理システムを開発しました。具体的には、研究者らは電子コンピューティングの前に光コンピューティングのレイヤーを追加しました。このAIイメージングシステムは、低照度条件下でも強力なイメージング機能を備えており、各ステレオピクセル上の光電子の密度は最大で数十に達し、コンピューティングに費やされていた多くの時間とコストを節約できます。

特にこの研究について、UCLA の研究チームは、D²NN デバイスは全光学画像分析、特徴検出、オブジェクト分類タスクに使用できるほか、D²NN を使用してタスクを実行する新しいカメラ設計や光学コンポーネントも実現できると述べています。

たとえば、この技術を使用した自動運転車は、一時停止の標識から回折した光を受け取るとすぐに D²NN が標識を読み取ることができるため、一時停止の標識に即座に反応することができます。この技術は、何百万もの細胞サンプルから病気の兆候を探すなど、多数のターゲットを分類する作業にも使用できる。

「この研究は、AIベースのパッシブデバイスがデータと画像をリアルタイムで分析し、物体を分類するための新たな機会を切り開く」とオズカン氏は述べた。 「この光学人工ニューラルネットワークデバイスは、脳が情報を処理する方法を直感的にシミュレートし、拡張性も高いため、新しいカメラ設計や独自の光学部品設計に適用できます。また、医療技術、ロボット工学、セキュリティなどの分野でも使用できます。」

紙：

http://science.sciencemag.org/content/361/6406/1004

参考リンク:

https://www.photonics.com/Articles/All-Optical_Diffractive_Deep_Neural_Network_Is/a63751

https://newatlas.com/diffractive-deep-neural-network-uses-light-to-learn/55718/