マイクロソフトのオープンソースAIツールが古い写真に新たな命を吹き込む

序文

GitHub Hot Trends Vol.046では、HGがMicrosoftのオープンソースAIツール「Bringing-Old-Photos-Back-to-Life」を紹介しました。

傷んだ古い写真に新たな命を吹き込むことができ、今週は 3,000 個近くの星を獲得しました。 この記事は、プロジェクトチームメンバーのZiyu WanがHacker Newsに掲載したプロジェクト紹介です。お楽しみください〜

概要

私たちはディープラーニングの手法を使って、劣化した古い写真を復元するつもりです。従来の教師あり学習による復元タスクとは異なり、実際の写真の経年劣化はより複雑であり、合成画像と実際の古い写真との間のドメインギャップにより、ネットワークは一般化できません。そこで、実際の写真と多数の合成画像ペアの両方を活用する、新しいトリプルドメイン翻訳ネットワークを提案します。具体的には、2 つの変分オートエンコーダ (VAE) をトレーニングして、古い写真ときれいな写真をそれぞれ 2 つの潜在空間に変換します。 ペアになったデータを合成して、2 つの潜在空間間の変換を学習します。コンパクトな潜在空間ではドメインギャップが閉じられているため、この翻訳ネットワークは実際の写真にうまく一般化できます。

さらに、古い写真に混在する複数の劣化問題に対処するために、傷やほこりなどの構造的欠陥を処理するための部分的な非ローカル ブロックを備えたグローバル ブランチと、ノイズやぼやけなどの非構造的欠陥を処理するためのローカル ブランチを設計します。 2 つのブランチは潜在空間で融合され、複数の劣化問題から古い写真を回復する能力が向上します。この方法は、写真の復元の視覚的な品質の点で既存の方法よりも優れています。

アーキテクチャの概要

1. まず、2 つの変分オートエンコーダ (VAE) をトレーニングします。VAE1 は実際の写真 r ∈ R と合成画像 x ∈ X 用で、敵対的識別器を共同でトレーニングすることでドメインギャップを狭めます。VAE2 はクリーンな画像 y ∈ Y 用です。 VAE は、画像をコンパクトな潜在空間に変換するために使用されます。

2. 破損した画像から、コンパクトな潜在空間内の部分的な非ローカル ブロックを含むクリーンな写真へのマッピングを学習します。

比較表

修復の詳細

クローズアップ表示

チームメンバーの Ziyu Wan が Bringing-Old-Photos-Back-to-Life の紹介を翻訳しました。興味のある方はぜひ試してみてください。プロジェクトのアドレスは次のとおりです。

 https://github.com/microsoft/古い写真を復活させる