バイオメディカルホログラフィックイメージング用の RNN が 50 倍高速化

[[407014]]

デジタル ホログラフィーは、生物医学イメージングでよく使用される顕微鏡技術です。サンプルの豊富な光学情報を明らかにするために使用されます。一般的な画像センサーは入射光の強度にのみ反応します。したがって、光位相回復を伴うセンサーによってデジタル記録されたホログラムの完全な 3D 情報を再構築することは、デジタル ホログラフィーにおいて常に時間がかかり、計算量の多い困難な作業でした。

最近、カリフォルニア大学ロサンゼルス校の研究チームは、サンプルの顕微鏡画像を素早く再構成できる新しいホログラフィック位相回復技術を開発しました。この技術は、既存の方法に比べて 50 倍高速化できます。私たちの研究結果は、ホログラフィックイメージングと位相回復のためのリカレントニューラルネットワーク (RNN) の使用を初めて実証しており、提案されたフレームワークはさまざまなコヒーレントイメージング手法に広く適用できます。

この研究は、「リカレントニューラルネットワークを使用した位相回復とオートフォーカスによるホログラフィック画像再構成」というタイトルで、5月26日にACS Photonics誌に掲載されました。

ホログラフィーは、ホログラフィック写真とも呼ばれ、光波の振幅と位相の分布を写真フィルムまたは乾板に記録して、物体の 3 次元画像を再現する技術を指します。ホログラフィーは、サンプルの準備が最小限で済み、染色、固定、ラベル付けが不要な生物学的サンプルを画像化するための強力なツールです。

デジタル ホログラフィーは、特に画像再構成と定量位相イメージング (QPI) 法において、過去数十年間で目覚ましい進歩を遂げてきました。

最近、訓練されたニューラル ネットワークを使用してホログラムを再構築する、ディープラーニング ベースの位相回復アルゴリズムが実証されました。さらに、エンドツーエンドのニューラル ネットワーク推論プロセスを通じて、ディープラーニング ベースの位相回復が元のホログラムに直接実装されます。従来の反復位相回復法と比較して、ディープラーニング ベースのアルゴリズムは、ニューラル ネットワークを介した単一 (つまり反復なし) のパスで、スペックルや二重画像アーティファクトのないオブジェクト再構築を作成します。

現在、研究者らは、生成的敵対的ニューラルネットワーク (GAN) を使用してトレーニングされた再帰型ニューラルネットワーク (RNN) に基づく、新しいディープラーニングベースのホログラフィック画像再構成および位相回復アルゴリズムを提案しています。

RH-M および RH-MD トレーニング用の GAN フレームワーク

この技術は、ディープラーニングでトレーニングされたリカレントニューラルネットワークを使用し、複数のホログラムの空間的特徴を組み合わせて、人間の組織スライドなどのサンプルのホログラフィック顕微鏡画像をデジタルで作成します。これにより、画像の品質が向上し、再構成が高速化され、再構成されたサンプルの被写界深度が強化されます。

2つの方法

RH-M: 再帰型ホログラフィック (RH) イメージング フレームワークは、ゼロ位相を使用して共通の軸平面に逆伝播される複数 (M) の入力ホログラムを使用し、出力推論で同時にオートフォーカスと位相回復を実行します。

RH-MD: RH-M を拡張 (D) 畳み込みカーネルで強化することで、自由空間バックプロパゲーション (FSP) ステップなしで、同じオートフォーカスと位相回復のパフォーマンスが実現されます。つまり、取得されたオブジェクトの生のホログラムが、RH-MD と呼ばれる出力での焦点の合った画像の再構成のためにトレーニングされた RNN の入力として直接使用されます。比較的まばらなサンプルに適しており、パップスメアサンプルのホログラフィックイメージングは​​その成功を実証しています。

RH-M法

RH-MD法

既存の位相回復およびホログラフィック画像再構成アルゴリズムと比較すると、RH-M および RH-MD フレームワークの利点は、再構成の品質と速度が優れていること、およびオートフォーカス機能による被写界深度 (DOF) が拡張されていることです。

この研究では、肺組織スライス画像の場合、RH-M は既存のディープラーニングベースのホログラフィック再構成法と比較して、二乗平均平方根誤差 (RMSE) の点で品質を 40% 向上させることが示されました。同じ入力ホログラムを使用する反復位相回復アルゴリズムと比較して、RH-M は 15 倍の推論速度を実現します。

RH-M を使用したホログラフィックイメージング

位相回復とオートフォーカスにおける RH-M の有効性を実証するために、研究者らは人間の肺組織切片を使用して RNN をトレーニングおよびテストし、レンズフリーのインライン ホログラフィック顕微鏡を使用してそれらを画像化しました。 3 つのトレーニング スライドと 1 つのテスト スライドが使用されました。 (これらの組織サンプルはすべて異なる患者から採取されたものです。) トレーニング フェーズでは、RH-M はランダムに M = 2 個の入力ホログラムを取得します。ランダム サンプルからセンサーまでの距離は 350 ～ 550 μm の範囲です。ランダムに選択されたこれらのホログラムはそれぞれ、z2 = 450 μm に伝播されます。結果として得られる複素フィールドの実数部と虚数部は、RH-M モデルのトレーニング入力として使用されます。

ブラインド テスト フェーズでは、トレーニングされた RNN モデルの実現可能性を実証するために、テスト スライド (トレーニング中には使用されていない、異なる患者のもの) の M = 2 ホログラムが、サンプルからセンサーまでの距離 423.7 μm と 469.7 μm でキャプチャされました。

肺組織切片のホログラフィック画像

RH-M 推論のパフォーマンスをさらに分析するために、研究者は、異なる焦点ずれ距離の組み合わせ (Δz2,1 と Δz2,2) を持つ M = 2 のホログラムをトレーニング済みの RNN に入力しました。結果は、まず、2 つの入力ホログラムが同じ場合に対応する Δz2,1 = Δz2,2 の場合に、提案されたフレームワークが成功していることを示しています。第二に、2 つの入力ホログラム間の軸距離は、RH-M のより優れた推論につながります。

ハイパーパラメータ M は、RH-M のパフォーマンスに影響を与える重要な要素の 1 つです。通常、M が大きいネットワークは、入力ホログラムの高次相関を学習してサンプルの複雑なフィールドをより適切に再構築しますが、小さなトレーニング データセットでは過剰適合し、局所的最小値に収束する傾向があります。要約すると、RH-M は、多様性が高く、M トレーニング セットが大きいことからメリットを得られます。

RH-MDを用いたホログラフィックイメージング

RH-MD はニューラル ネットワークの受容フィールドを拡大し、トレーニング可能なパラメータの数を増やすことなく、より広範囲の回折パターンを処理できるようにするとともに、元の入力ホログラムから直接位相回復とオートフォーカスを行う可能性も開きます。

この機能を実証するために、研究者らは同じレンズフリーのホログラフィック顕微鏡プラットフォームで画像化されたパップスメアサンプルで RH-MD フレームワークをトレーニングし、テストしました。結果は、RH-Mとは異なり、RH-MDは自由空間バックプロパゲーションなしで元の入力ホログラムを使用することを示しています。

入力ホログラムが同じ高さ（Δz2,1 = Δz2,2）で取得される場合、RH-MDはRH-Mよりも堅牢です。

RH-M および RH-MD のパップスメアホログラフィック画像 (M = 2)

特に、RH-MD のこれらの利点は、よりまばらなサンプル (ここで報告されているパップスメアスライドなど) と比較したものですが、連結された組織切片の場合、RH-MD 推論のパフォーマンスは RH-M と比較して大幅に低下します。したがって、RH-M とは異なり、RH-MD を使用したブラインド位相検索、ホログラフィック画像再構成、およびオートフォーカスにはサンプルのスパース性が必須となります。

幅広い適用性

「私たちの研究結果は、画像品質、自由度、推論速度の点で、既存の位相回復法やホログラフィック画像再構成法を上回っています」と、論文の筆頭著者である Luzhe Huang 氏は語ります。「この RNN ベースの画像再構成アプローチは、さまざまなコヒーレント顕微鏡法や関連アプリケーションに新たな機会をもたらします。」

「このフレームワークは、蛍光顕微鏡などのさまざまな生物医学画像診断法に幅広く適用でき、取得した一連の画像を効率的に利用して、サンプル体積の3D再構成を迅速かつ正確に作成できます」と、UCLAの電気・コンピュータ工学学長教授であり、カリフォルニア・ナノシステム研究所の副所長で、本研究の筆頭著者であるアイドガン・オズカン氏は述べた。

論文リンク: https://pubs.acs.org/doi/10.1021/acsphotonics.1c00337

参照: https://techxplore.com/news/2021-06-faster-holographic-imaging-recurrent-neural.html