このアリは写真を撮ることができます！プリンストン大学は、50万分の1の大きさに縮小されたミクロンレベルのカメラを開発した。

最近、プリンストン大学の研究者らは、世界初の高品質ミクロンスケール光学イメージングデバイス「ニューラルナノオプティクス」を提案し、Nature Communications誌に発表した。多くのシナリオにおいて、その画像効果は 500,000 倍のカメラ レンズに匹敵します。

ほら、深い青色の花がゆっくりと咲いていて、花びらの層が海の波のようです。

もう一つの紫色の花が咲く瞬間もまた美しいです。

しかし、これらの画像の本当の美しさは花にあるのではなく、花を撮影するために使用されたカメラのレンズにあります。

レンズを手に持った状態はこんな感じ。

小さな四角形のピースで、一辺の長さは指紋数個分くらいです。

さらに誇張したものもあります。

Apple の iPhone X などの従来の光学レンズには、このように見える背面レンズがあります。

よく見ると、実際には 1 つのリア レンズに複数の層のレンズが積み重ねられていることがわかります。

したがって、このような大型の光学部品は必然的に非常に重くなり、また多くのスペースを占有することになります。

この小さな正方形のフィルムを、大きな複合屈折レンズを備えた従来のカメラと比べてみてはいかがでしょうか。

結果は素晴らしいです！

顕微鏡写真では、この極小の薄いシートは、積み重ねられたレンズと同じくらい正確に物体を再現することができ、画像はより明るくなります。

広角撮影という点では、この小さく薄いフィルムは結局、従来の大型カメラにはかないませんでしたが、建物の輪郭はかなりよく復元されました。

この小さな薄膜は「ニューラルナノオプティクス」と呼ばれ、その学名は「メタサーフェスオプティクス」、つまりメタサーフェス光学装置を意味します。

真ん中の白い円が見えましたか？はい、これが撮像装置です。

粗塩一粒くらいの大きさです！

イメージング効果に関して、研究者らは、「ニューラルナノオプティクス」と、50万倍の大きさのエドモンド・オプティクス50mm F2.0レンズは、多くのシナリオで互いに同等である可能性があると述べています（私が言ったのではなく、原文では「同等」と書かれていました）。

この小さなカメラはどれほど魔法の力を持っているのでしょうか?

近年、感光性部品の小型化により、医療用画像処理、スマートフォン、ロボット工学、自動運転など、幅広い用途でカメラが使用できるようになりました。

しかし、光学イメージング装置を現在のものより一桁小さくすることができれば、ナノロボティクス、生体内イメージング、拡張現実/仮想現実、健康モニタリングなど、多くの新しい用途が開拓される可能性があります。

最近、プリンストン大学の研究者らが世界初の高品質超小型光学イメージング装置「Neural Nano-Optics」を提案し、Nature Communications誌に発表した。

このカメラは、フルカラー (400 ～ 700 nm) をカバーし、40 度の広い視野と F2.0 の絞りを備えています。

論文アドレス: https://light.cs.princeton.edu/wp-content/uploads/2021/11/NeuralNanoOptics.pdf

プロジェクトアドレス: https://github.com/princeton-computational-imaging/Neural_Nano-Optics

「ニューラル ナノオプティクス」は、既存の最先端のメタサーフェス レンズ設計をすべて上回り、高品質で広視野のカラー画像を実現する世界初のメタサーフェス光学イメージング装置です。

メタサーフェスは、厚さが波長未満である極薄の人工構造物であり、電磁波の偏光、振幅、位相、偏光モード、伝播モードなどの特性を柔軟かつ効果的に制御できます。

通常、従来の光学部品は物理的に大きくなります。

これは、従来のレンズが光波を曲げることで機能するためです。光波がレンズを通過すると、レンズのさまざまな部分でさまざまな角度で屈折します。

通常、エンジニアは複数の個別のレンズを積み重ねて（複合レンズと呼ばれる）、特定の方法で光を導き、制御します。

典型的な凸レンズ（収束レンズ）は光波を曲げて焦点に集めます（出典：Mini Physics）

従来の画像システムは、収差を補正する一連の屈折要素で構成する必要があるため、これらのかさばるレンズによってカメラの機能が必然的に制限されます。

従来の画像処理におけるもう一つの大きな障害は、焦点距離を短くすることが難しいことです。焦点距離を短くすると、色収差が大きくなり、画像が鮮明に映らなくなります。

メタサーフェス光学デバイスは、さまざまな構造を通じて光と相互作用し、非常に薄い層の平坦な構造で同じ効果を実現できます。

レンズサイズの小型化の問題は解決しましたが、センサーはどうなるのでしょうか?

実際、サブミクロンピクセルを備えた光学センサーはすでに存在していますが、その画像化効果は従来の光学理論によって制限されています。

したがって、単にセンサーを小さくするだけでは、問題を完全に解決することはできません。絞りとダイヤフラムの制限により、既存のサブミクロンピクセルセンサーで実現される画質は、大型光学カメラの画質に比べてはるかに劣ります。

では、プリンストン大学の研究者たちはこの困難をどのように克服したのでしょうか?

答えはやはりAIです！

この研究で著者らが提案したニューラルナノオプティクスは表面上の小さな画像装置に過ぎませんが、その背後には完全に微分可能なディープラーニングフレームワークがあり、ニューラル特徴に基づく画像再構成アルゴリズムと組み合わされ、メタ表面の物理的構造を学習することで、SOTAよりも1桁低い再構成誤差を実現します。

メタサーフェスプロキシモデル

著者らは、位相値を空間的に変化する PSF (PSF は点広がり関数の略) にマッピングする効率的な微分可能な代理関数を使用して学習します。

提案された微分可能メタサーフェス画像形成モデル (図 e) は、微分可能テンソル演算の 3 つの連続した段階、すなわちメタサーフェス位相決定、PSF シミュレーションと畳み込み、およびセンサー ノイズで構成されます。

彼らのモデルでは、メタ表面位相を決定する多項式の係数が最適化できる変数です。

最適化可能なメタサーフェス位相関数 φ は、光軸からの距離 r を独立変数として、次のように関数として表されます。

ここで、{a0、...an} は最適化可能な係数、R は位相マスクの半径、n は多項式の項の数です。

メタサーフェスは、局所最小値を回避するために、ピクセルごとではなく、この位相関数に基づいて最適化されます。

この微分可能な方法であるニューラル ナノオプティクスを、有限差分時間領域シミュレーションなどの代替フォワード シミュレーション方法と比較すると、両者の精度は同程度ですが、微分可能な方法であるニューラル ナノオプティクスは、FTDT などのフルウェーブ シミュレーション方法よりも 3000 倍効率的で、メモリ効率も優れています。

これらに加えて、微分可能なフレームワーク Neural Nano-Optics にはいくつかの技術的なハイライトがあります。

特徴ベースのデコンボリューション

測定データから画像を復元するために、著者らは、学習した事前知識を組み込み、未知のテストデータに一般化できる特徴ベースのニューラルデコンボリューション法を提案しています。

具体的には、この方法では、特徴の抽出と改良のために微分可能な逆フィルタとニューラル ネットワークを使用します。このアプローチは効果的な特徴を学習することができ、それによってパワースペクトルの知識を活用して物理ベースのデコンボリューション機能を強化し、一般化機能を向上させることができます。

正式には、特徴伝播デコンボリューション ネットワークは次の操作を実行します。

結果から判断すると、特徴伝播デコンボリューション ネットワークの再構築能力は、従来の方法と比較して質的に飛躍的に向上しました。

エンドツーエンドの学習

メタサーフェスエージェントとニューラルデコンボリューションモデル、および完全に微分可能なイメージングパイプラインを使用すると、エンドツーエンドでナノカメラを設計できます。

微分可能フレームワークニューラルナノオプティクスの学習法とそれに対応する最適化プロセス

Neural Nano-Optics のエンドツーエンドのトレーニングおよび最適化プロセスは次のとおりです。

トレーニング最適化図

トレーニング後、Neural Nano-Optics システムを使用して高品質のフルカラー画像を取得できます。

ニューラルナノオプティクスは、既存の最先端の設計と比較して、高品質の広いFOV再構成画像を生成できます。

色収差除去（DLAC）

これまでのメタ光学レンズでは、大口径、広い視野、小さい F 値、広い帯域幅という 4 つの特性を同時に組み合わせることはできませんでした。

最適化されたメタ光学設計により、この超小型カメラは前例のないレベルに到達し、広い視野でフルカラー画像を撮影できるほか、最大口径 500 ミクロンを達成しています。これは現在入手可能な最大のメタ光学レンズでもあり、収集される光の量を増やすことができます。

設計仕様を正式に定量化するために、研究者らは回折レンズ色収差除去能力 (DLAC) と呼ばれる新しい指標を提案しました。

Neural Nano-Optics は、250 DLAC のスコアで再び優れた結果を達成し、第 1 位を獲得しました。

神経ナノ光学アプリケーション

ニューラルナノオプティクスの出現は、カメラ、ディスプレイ、その他の光学デバイスに革命をもたらす可能性があります。

魅力的な潜在的用途としては、次のようなものがあります。

1. AR/VR/MR-XR システム開発者は、大規模なハードウェア システムをヘッドマウント デバイスに統合するという課題の解決に引き続き取り組んでいます。ニューラル ナノオプティクスは、小型で高性能、軽量のヘッドマウント デバイスやスマート グラスにマイクロ光学コンポーネントを統合できる可能性を提供します。
2. 医療 – ニューラルナノオプティクスの強化された光学機能により、これまで以上に正確な診断画像が可能になり、高解像度の画像ツール（内視鏡など）や新しい顕微鏡にも使用できるため、放射線科医、医師、検査技師はこれまで見えなかった詳細を見ることができます。