南洋理工大学と香港中文大学の Talk-to-Edit: 対話により非常にきめ細かな顔の編集が可能に

  [[425172]]

南洋理工大学と香港中文大学の研究者らは、ユーザーとシステム間の対話を通じてきめ細かい属性操作を実行できるインタラクティブな顔編集フレームワーク「Talk-to-Edit」を提案した。さらに、この研究では、大規模な研究を促進するために、視覚言語の顔編集データセットCelebA-Dialogも作成しました。

髪型を変えたいですか？ 20年後の自分の姿がどうなるか知りたいですか?フォトショップで加工した後でも、期待した効果が得られないことにまだ不安を感じていますか?この「Talk-to-Edit」をぜひ試して、編集方法を伝えると、数分で編集できるようになります。

では早速、写真を見てみましょう。

ユーザーはシステムと通信することで顔の編集を完了します。

顔のさまざまな特徴を編集します。

エディター、イケメン、美女（GAN反転を使用）：

この研究は、南洋理工大学と香港中文大学が提案したインタラクティブな顔編集フレームワーク「Talk-to-Edit」から生まれたもので、ユーザーとシステム間の対話を通じてきめ細かい属性操作を実行できます。さらに、この研究では、大規模な研究を促進するために、視覚言語の顔編集データセットCelebA-Dialogも作成しました。

• 論文アドレス: https://arxiv.org/abs/2109.04425
• コード: https://github.com/yumingj/Talk-to-Edit
• プロジェクトページ: https://www.mmlab-ntu.com/project/talkedit/index.html
• 研究室ホームページ: https://www.mmlab-ntu.com

方法と結果

この研究で提案された Talk-to-Edit パイプラインを下の図に示します。

この研究では、セマンティック フィールドを使用して、顔の特徴の継続的かつ非常にきめ細かい制御可能な編集を実現します。会話機能は、Language Encoder モジュールと Talk モジュールによって実装されます。次に、各モジュールの動作原理と効果について説明します。

（１）意味フィールド

背景：GAN[1, 2]は潜在空間内の異なる潜在ベクトルに基づいて異なる画像を生成できる。潜在空間ベースの画像編集手法[3, 4, 5, 6, 7]は、事前に学習されたGANとその潜在空間を使用して、画像に対応する潜在ベクトルを制御的に変更し、それによって間接的に画像を編集します。しかし、これらの方法では、顔の特定の特徴を編集するには、潜在空間内の特定の方向に沿って「直線的に歩く」こと（下の図（b）の茶色のパス（1）など）によって実現できることを前提としています。

本研究で用いた手法は、「一直線に歩く」という仮定を捨て、「歩く」過程における瞬間の隠れベクトル（上図（b）の黒い経路（2）など）に基づいて、現在の最適な進行方向を継続的に探索するものである。そこで研究者らは、潜在空間内にベクトル場を構築して各潜在ベクトルの最適な「順方向」を表現し、潜在ベクトルを現在の潜在ベクトルの最適な「順方向」に沿って移動させることで、画像の特定の意味的特徴を変更した。このベクトル場は意味場と呼ばれます。この研究における編集方法は、ベクトル場のフィールドラインに沿って、電位が最も速く増加する方向に移動することと同等です。ここでの潜在的可能性とは、ある特徴の度合いを指します。例えば、「前髪」の特徴を編集する場合、潜在的ベクトルは、前髪が最も速く成長する方向（上の図（b）の黒いパス（2）など）のフィールドラインに沿って移動します。

セマンティックフィールドには、2 つの特徴があります。1) 同じ人物であっても、ある属性を常に変化させることで求められる「進むべき最善の方向」は常に変化します。 2) 同じ属性を編集する場合、対応する「前進する最適な方向」は人によって異なります。この研究では、ニューラルネットワークを使用してセマンティックフィールドをシミュレートし、上図(a)に示す方法を使用してセマンティックフィールドをトレーニングしました。実装の詳細については、論文とコードを参照してください。

下の表に示すように、実験結果によると、この研究方法は、「直線」仮定を使用したベースラインと比較して、顔編集プロセス中に人物のアイデンティティ特性をより適切に保持し、特定の意味的特徴を編集するときに他の無関係な意味的特徴への変更を減らすことができます。

下の図に示すように、コントラストは明らかです。

（２）言語エンコーダとトークモジュール

より便利で直感的なインタラクション方法をユーザーに提供するために、この研究では、ユーザーが編集できるようにする対話方式を使用します。 Talk-to-Edit は、LSTM ベースの言語エンコーダーを使用してユーザーの編集要件を理解し、エンコードされた編集要件をセマンティック フィールドに渡して編集をガイドします。 Talk モジュールは、現在の笑顔がちょうど良いかどうか、またはもう 1 レベル必要かどうかなど、編集の各ラウンドの後に、きめ細かい編集レベルをユーザーに確認することができます。 Talk モジュールは、ユーザーに他の編集の提案を提供することもできます。たとえば、ユーザーがメガネ機能の編集を試したことがないことがシステムによって検出された場合、写真にメガネを追加してみるかどうかをユーザーに尋ねます。

CelebA-Dialogデータセット

本研究ではCelebA [8]データセットに基づいてCelebA-Dialogデータセットを研究コミュニティに提供します。

（１）この研究では、各画像に対して非常にきめ細かい特徴注釈を提供している。上図に示すように、「笑顔」の意味特性は、笑顔の明るさに応じて 6 段階に分けられます。 CelebA-Dialog は、各画像の笑顔が 6 つのカテゴリのどれに属するかを正確にラベル付けします。

（２）本研究では、各画像の意味的特徴（画像キャプション）や画像編集に対するユーザの要求を非常にきめ細かく自然言語で記述した豊富な自然言語記述を提供する。

CelebA-Dialog は、高粒度の顔の特徴認識、自然言語ベースの顔の生成と編集など、さまざまなタスクの監視を提供できます。

Talk-to-Edit の研究では、CelebA-Dialog の非常にきめ細かい特徴注釈を使用して、非常にきめ細かい顔の特徴予測子をトレーニングし、それによってセマンティック フィールドのトレーニングに非常にきめ細かい監督を提供しました。

要約する

（１）本研究では、対話ベースの非常にきめ細かい顔編集システム「Talk-to-Edit」を提案する。

（２）本研究では、GAN潜在空間内の意味場を学習し、その潜在空間内のフィールドラインに沿って「歩く」ことで、連続的かつきめ細かい顔の特徴編集を実現する「セマンティックフィールド」を提案した。

（３）本研究は、大規模なデータセットCelebA-Dialogを研究コミュニティに貢献する。これは、将来の高粒度の顔編集タスクや自然言語駆動型の視覚タスクに大いに役立つと考えています。

Talk-to-Edit のその他のハイライト: