清華大学チームは、蛍光画像から自己教師あり方式でノイズを除去する空間冗長性ノイズ除去トランスフォーマー法を開発

高い信号対雑音比を備えた蛍光イメージングは​​、生物学的現象の正確な可視化と分析の基礎となっています。しかし、避けられないノイズは、イメージング感度に大きな課題をもたらします。

清華大学の研究チームは、自己教師方式で蛍光画像からノイズを除去するための空間冗長性ノイズ除去トランスフォーマー (SRDTrans) を提供しました。

研究チームは、空間冗長性に基づいて隣接する直交トレーニングペアを抽出し、高速画像処理への依存を排除​​するサンプリング戦略を提案しました。次に、低い計算コストで長距離の依存関係と高解像度の特徴をキャプチャするための軽量の時空間 Transformer アーキテクチャを設計しました。

SRDTrans は、構造を過度に平滑化したり、蛍光トレースを歪ませたりすることなく、高周波情報を回復できます。さらに、SRDTrans にはイメージング プロセスやサンプルに関する仮定が含まれていないため、さまざまなイメージング モダリティや生物学的アプリケーションに簡単に拡張できます。

「自己教師あり蛍光画像ノイズ除去のための空間冗長性変換器」と題されたこの研究は、2023年12月11日にNature Computational Scienceに掲載されました。

生体内イメージング技術の急速な発展により、研究者はマイクロメートル、さらにはナノメートルのスケールで生物学的構造や活動を観察できるようになりました。蛍光顕微鏡法は、非常に人気のある画像化法として、その高い時空間分解能と分子特異性により、一連の新しい生理学的および病理学的メカニズムの発見に役立っています。蛍光顕微鏡の基本的な目標は、下流の分析の精度を確保し、説得力のある結論を裏付けるために十分なサンプル情報を含む、きれいで鮮明な画像を取得することです。

しかし、複数の生物物理学的および生化学的要因（標識濃度、蛍光体の明るさ、光毒性、光退色など）によって制限され、蛍光イメージングは​​光子制限条件下で実行され、固有の光子ショットノイズによって、特に低照度および高速観察時に画像の信号対雑音比（SNR）が著しく低下します。

蛍光画像のノイズを除去するためにさまざまな方法が提案されています。数値フィルタリングと数学的最適化に基づく従来のノイズ除去アルゴリズムは、パフォーマンスが不十分で、適用範囲が限られています。過去数年間、ディープラーニングは画像のノイズ除去において素晴らしいパフォーマンスを示してきました。

グラウンドトゥルース (GT) データセットを使用して反復トレーニングを行った後、ディープ ニューラル ネットワークはノイズの多い画像とクリーンな画像間のマッピングを学習できます。この監督方法は、ペアになった GT 画像に大きく依存します。

生物の活動を観察する場合、標本は急速な動的変化を起こすことが多いため、ピクセル単位で登録して鮮明な画像を取得することは大きな課題です。この矛盾を軽減するために、蛍光イメージングにおいてより適用可能で実用的なノイズ除去を実現するいくつかの自己教師あり法が提案されています。

より優れたノイズ除去性能を達成するには、グローバルな空間情報と長距離の時間的相関を同時に抽出する能力が重要ですが、畳み込みカーネルの局所性のため、畳み込みニューラル ネットワーク (CNN) ではこの機能が欠けています。さらに、固有のスペクトルバイアスにより、CNN は低周波の特徴のフィッティングを優先し、高周波の特徴を無視する傾向があり、必然的に過度に平滑化されたノイズ除去結果が生成されます。

清華大学の研究チームは、これらの困難を解決するために空間冗長性ノイズ除去変換器 (SRDTrans) を提案しました。

図：SRDTransの原理と性能評価。 （出典：論文）

一方、研究者らは、元のタイムラプスデータから2つの直交方向で3次元（3D）トレーニングペアを抽出するための空間的に冗長なサンプリング戦略を提案した。

この方式は隣接する 2 つのフレーム間の類似性に依存しないため、SRDTrans は非常に高速なアクティビティや極めて低いイメージング速度にも適用でき、チームが以前に提案した時間的冗長性を活用する DeepCAD を補完します。

SRDTrans は、コントラストのメカニズム、ノイズ モデル、サンプル ダイナミクス、およびイメージング速度に関するいかなる仮定にも依存しません。したがって、膜電圧イメージング、単一タンパク質検出、光シート顕微鏡、共焦点顕微鏡、光視野顕微鏡、超解像顕微鏡など、他の生物学的サンプルやイメージング手法にも簡単に拡張できます。

一方、研究者らは長距離相関を最大限に活用するために軽量の時空間変換器ネットワークを設計した。最適化された機能相互作用メカニズムにより、モデルは少数のパラメータで高解像度の機能を取得できます。従来の CNN と比較して、提案された SRDTrans はより強力なグローバル認識と高頻度維持機能を備えており、これまで識別が困難だったきめ細かい時空間パターンを明らかにすることができます。

チームは、2 つの代表的なアプリケーションで SRDTrans の優れたノイズ低減性能を実証しました。 1 つ目は、隣接するフレームが蛍光体のランダムなサブセットである単一分子局在顕微鏡法 (SMLM) です。

図: SRDTrans の実験 SMLM データへの適用。 （出典：論文）

もう 1 つは、体積速度が 0.3 Hz という低速で大規模な 3D ニューロン集団を 2 光子カルシウムイメージングするものです。広範な定性的および定量的結果により、SRDTrans はさまざまな細胞および細胞内現象を観察するための蛍光イメージングの基本的なノイズ除去ツールとして機能できることが実証されています。

図: 大規模な神経容積の高感度カルシウムイメージング。 （出典：論文）

SRDTrans にもいくつかの制限があり、主に隣接するピクセルは同様の構造を持つという基本的な前提に基づいています。空間サンプリング レートが低すぎて十分な冗長性が得られない場合、SRDTrans は失敗します。もう 1 つの潜在的なリスクは、SRDTrans の軽量ネットワーク アーキテクチャが特定のタスクに適しているため、一般化能力です。

特定のデータに対して特定のモデルをトレーニングすることが、ディープラーニングを使用した蛍光画像のノイズ除去に対する最も信頼性の高いアプローチであると考えています。したがって、イメージングパラメータ、モダリティ、サンプルが変更された場合に最適な結果が得られるように、新しいモデルをトレーニングする必要があります。

蛍光指示薬の開発がより高速な運動へと進むにつれて、これらの高速イベントを記録するために生物学的ダイナミクスをミリ秒単位で監視するために必要なイメージング速度は向上し続けています。時間的冗長性に依存するノイズ除去方法では、十分なサンプリング レートを取得することがますます困難になります。チームの展望は、空間冗長性を代替手段として活用することでこのギャップを埋め、より多くの画像処理アプリケーションで自己教師ありのノイズ除去を可能にすることです。

空間的に冗長なサンプリングの完璧なケースは、空間サンプリング レートが回折限界のナイキスト サンプリングの 2 倍で、2 つの隣接するピクセルがほぼ同一の光信号を持つことが保証される場合ですが、ほとんどの場合、2 つの空間的にダウンサンプリングされたサブシーケンス間の本質的な類似性は、ネットワークのトレーニングを導くのに十分です。

しかし、これは提案された空間冗長サンプリング戦略が時間冗長サンプリングを完全に置き換えることができることを意味するものではありません。なぜなら、アブレーション研究では、同じネットワーク アーキテクチャを備えた場合、時間冗長サンプリングの方が高速イメージングでより優れたパフォーマンスを実現できることが示されているからです。高速画像処理における SRDTrans の DeepCAD に対する優位性は、実際には Transformer アーキテクチャによるものです。

一般的に言えば、空間的冗長性と時間的冗長性は、蛍光タイムラプスイメージングノイズ除去ネットワークの自己教師トレーニングを実現できる 2 つの補完的なサンプリング戦略です。どのサンプリング戦略を使用するかは、データ内でどの冗長性がより十分であるかによって決まります。多くの場合、どちらのタイプの冗長性も現在のサンプリング戦略をサポートするのに十分ではないことに注意してください。特定の、またはより一般的な自己監視型ノイズ除去方法の開発は、蛍光イメージングにとって永続的な価値を持つでしょう。

論文リンク: https://www.nature.com/articles/s43588-023-00568-2