女神の若々しい姿が全開！テンセントのAIモデルGFPGANがGitHubのホットリストで1位に

[[440335]]

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

古びた絵が髪の毛のように鮮明になるのを見るのはどんな感じでしょうか?

明るい目と透き通った髪を見ると、もともとぼやけていた肖像画がすぐに生き生きとしたものになります。

（これはAIを使って復元された高円円の幼少期の写真です）

より長い期間の歴史上の著名人の写真も取り扱うことができます。

魯迅氏の若き日の元気な姿が鮮やかに再現されている。

チューリングの修復はさらに印象的です。目がより鮮明になっているだけでなく、髪の毛や眉毛などの細部も完璧に修復されています。

上記の効果を実現するために、専門的な PS スキルは必要ありません。Web デモを使用して、マウスを数回クリックするだけで写真をアップロードできます。

このような便利な修復ツールは、すぐに多くのネットユーザーを魅了し、視聴したり試用したりしました。

多くの人が、子供の頃に撮った低解像度の写真を使って実験をしますが、その効果はまるで 10 年以上前に目の前に立っているかのようです。

ぼやけた写真でも一瞬でポートレートに変身。この感動はすぐに味わえますよ〜

集合写真の復元は簡単で、その効果にネットユーザーは驚きの声を上げました。

これは、GitHub のホットリストで何日もトップにランクされている AI 修復プロジェクト、 GFP-GANで、 8,400 個のスターが付いています。

最近、インターネット上で古い写真の修復に新たな流行が起こり、試してみようという人が殺到しています。

このプロジェクトはTencent PCG ARC Laboratoryによって提案され、関連論文がCVPR2021に掲載されました。

さあ、その魔法を体験してみましょう。

デモ

GFP-GAN は、Colab、Hugging Face、またはローカルでコードを実行して試すことができます。

今日はHugging Faceのウェブサイトでそれを体験します。

インターフェイスに示されているように、修復したい写真を左側の画像ボックスにドラッグし、「送信」をクリックするだけです。

たとえば、写真をアップロードすると、結果は次のようになります。

そして自動的に顔をまっすぐにしてくれます。

驚くべきことに、眼鏡をかけた人物の肖像画に遭遇した場合、GFP-GAN はレンズの反射さえも高解像度で処理できるのです。

u1s1さん（正直に言うと）、復元された写真は何十年も前に撮影されたものとは到底思えません！

GFP-GAN なら孫悟空の猿の顔も簡単に再現でき、特に光の復元効果が抜群です。

また、修復プロセス中に肌が過度に滑らかになることはなく、顔の自然なシワが詳細に完全に表示されます。

GAN による肖像画の復元

では、GFP-GAN はどのようにしてこのような強力な効果を実現するのでしょうか?

研究者たちはStyleGAN2にインスピレーションを受けました。

GAN はリアルな画像を生成できるので、そこに含まれる顔情報は顔の復元にも役立ちますか?

そのため、GFP-GAN のモデルフレームワークでは、劣化除去モジュールと事前トレーニング済みの GAN が主に事前確率として使用されます。

2 つのモジュールは、潜在エンコーディング マッピングと複数のチャネル分割空間特徴変換レイヤー (CS-SFT) を介して接続されます。

トレーニングの過程では、まず低品質の顔に対してノイズ低減などの大まかな処理を施し、その後顔情報を保持する必要があります。

忠実度に関しては、研究者は顔の構成要素の損失を導入して、どの詳細を強調して保持する必要があるかを判断し、次にアイデンティティ保持損失を使用してそれらを修復しました。

第一著者は唐暁教授の下で学んだ。

この論文の筆頭著者は、Tencent ARC Lab（深圳アプリケーション研究センター）の研究者である Xintao Wang 氏です。

彼は浙江大学で学士号を取得し、香港中文大学で博士号を取得しました。

博士課程では、Tang Xiaoou教授とChen Change Loy教授に師事しました。

彼の研究対象にはコンピュータービジョンとディープラーニングがあり、特に画像とビデオの復元に重点を置いています。

論文の宛先:
https://arxiv.org/abs/2101.04061

GitHub プロジェクトページ:
https://github.com/TencentARC/GFPGAN

Hugging Faceトライアルポータ​​ル:
https://huggingface.co/spaces/akhaliq/GFPGAN