夜もカラフルに、ディープラーニングでフルカラー暗視システムを実現

いくつかの軍事大作映画では、兵士が暗視ゴーグルを装着して前方を捜索するシーンは欠かせないようです。暗闇で赤外線を使って見る暗視システムは、通常、見たものをモノクロ画像としてレンダリングします。

画像出典: flir.com

しかし、最近の研究では、カリフォルニア大学アーバイン校の科学者がディープラーニングAI技術を使用して、赤外線視覚によって光のない状況でも目に見える色を認識できる新しい方法を設計しました。

「世界中の多くの場所では、信号機のように、人々が判断を下す際に頼りにするような方法で色分けされている」と、カリフォルニア大学アーバイン校のエンジニア、外科医、視覚科学者で、この研究の共同筆頭著者であるアンドリュー・ブラウン氏は述べた。

暗視システムは特別なケースです。夜間を照らすために赤外線を使用する暗視システムは、通常、シーンを緑色のみでレンダリングし、通常の光の中で見える色を表示できません。新しい暗視システムの中には、超高感度カメラを使用して可視光を増幅するものもありますが、これらのカメラは増幅する光がない真っ暗な環境ではほとんど色を表示できません。

アンドリュー・ブラウン

そこで研究者らは、この研究で物体に可視光を与える染料や顔料はそれぞれ、可視波長のセットだけでなく、赤外線波長のセットも反射する可能性が高いと推論した。したがって、暗視システムを各染料と顔料の赤外線指紋を認識するようにトレーニングできれば、各染料と顔料に関連付けられた可視光を使用して画像を表示できるようになります。

レンダリング

現在、関連論文がPLOS ONE誌に掲載されています。

論文アドレス: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0265185

この研究は、人間には知覚できない近赤外線照明から人間の可視スペクトル内のシーンを予測するための第一歩です。今後の研究により、暗視システムや可視光に敏感な生物学的サンプルの研究など、さまざまな用途が大きく進歩する可能性があります。

研究概要

人間は400〜700nmの可視スペクトルの光を知覚できます。一部の暗視システムでは、人間には知覚できない赤外線を使用して画像をデジタルディスプレイにレンダリングし、可視スペクトルでモノクロ画像を表示します。

研究者たちは、人間が可視スペクトル光を使用して知覚するのと同じように、シーン内の赤外線スペクトル照明を使用してそのシーンの可視スペクトルレンダリングを予測できる、最適化されたディープラーニングアーキテクチャによって駆動されるイメージングアルゴリズムを開発したいと考えました。人間は完全な「暗闇」の中にいて、赤外線のみで照らされているとき、可視スペクトルのシーンをデジタルでレンダリングすることができます。

画像処理対象。赤外線照明のみを使用して表示された画像と、ディープラーニングを使用して NIR データを処理した後の可視スペクトルの画像を比較したものです。

「モノクロカメラは、撮影しているシーンから反射されるあらゆる光子に敏感です」とブラウン氏は言う。「そこで、調整可能な光源を使ってシーンに光を当て、モノクロカメラを使って、さまざまな照明色の下でそのシーンから反射される光子を捉えます。」

この目的のために、研究者らは可視光と近赤外光に敏感なモノクロカメラを使用して、標準的な可視光の赤（604nm）、緑（529nm）、青（447nm）光と赤外波長（718、777、807nm）をカバーするマルチスペクトル照明下での顔の指紋画像の画像データセットを収集しました。次に、研究者らは、U-Net のようなアーキテクチャを持つ畳み込みニューラルネットワークを最適化し、近赤外線画像のみから可視スペクトル画像を予測できるようにしました。

フェイスポートレートライブラリのサンプル画像

研究者たちはその後、3枚の赤外線画像とカラー画像を組み合わせて、シーン内の色を予測する人工知能ニューラルネットワークを訓練した。ニューラルネットワークはトレーニングとパフォーマンスの向上を経て、3 枚の赤外線画像から実際の物体に非常に近いカラー画像を再構築できるようになりました。下の左側の写真は可視スペクトルを使用した実際の色を示しており、右側の写真はディープラーニングアルゴリズムによって有効になった色を示しています。

「赤外線チャンネルや赤外線カラーの数を増やすと、より多くのデータが得られ、実際の画像に非常に近い画像がどのように見えるかを予測する精度が向上します」とブラウン氏は言う。「この研究で提案した方法は、人間の目では見えない3つの異なる赤外線カラーの画像を取得するために使用できます。」

しかし、研究者たちはそのアルゴリズムと技術を印刷されたカラー写真でのみテストした。彼らは、これらのアルゴリズムと技術をビデオ、そして最終的には現実世界の物体や人間の対象に適用することを目指しています。

参考リンク: