動きながら描くと、2次元の人物になります：リアルタイムインタラクティブビデオスタイル化

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

アニメーション、アニメーション、あなたはあなたのものを描き、私は私のものを描きます。

下の GIF のように、左側には静止画像があります。アーティストが少しずつ色を描いていくと、右側の動的な画像もリアルタイムで色が変わります。

これは、プラハのチェコ工科大学と Snap Institute のブラックテクノロジーです - ** ビデオ内のオブジェクトの色、スタイル、さらにはスタイルをリアルタイムで変更するには、特定の 2 つのフレームだけが必要です。

もちろん、今後もさらに続きます。

自分の漫画アバター写真を撮り、自由に修正します。このアバターを頭にかぶると、カメラの前に座っているあなた自身もリアルタイムで変化します。

自分自身を描いて、それがゆっくりとアニメーションに変化していく様子を見ることもできます。

ここを動かして、あそこに描くことでアニメーションが出てくるとも言えます。

さらに、プロセス全体では長時間のトレーニングプロセスや大規模なトレーニングデータセットは必要ありません。この研究は SIGGRAPH 2020 にも提出されています。

では、このような魔法のような効果はどのようにして実現されるのでしょうか?

インタラクティブなビデオスタイル

まず、N フレームからなるビデオシーケンス I が入力されます。

下の図に示すように、任意のフレーム Ii に対して、マスク Mi を使用してスタイル転送の領域を定義するか、フレーム全体にスタイル転送を実行するかを選択できます。

ユーザーが行う必要があるのは、様式化されたキーフレーム Sk を提供することだけです。そのスタイルは、意味的に意味のある方法でビデオシーケンス全体に転送されます。

以前の方法とは異なり、このスタイル転送は、前のフレームが最初にスタイル設定されるのを待たずにランダムな順序で実行され、異なるキーフレームからのスタイル設定されたコンテンツを明示的にマージする必要もありません。

つまり、この方法は実際には、複数の異種の手描きの例 Sk からスタイルをすばやく学習し、それをビデオシーケンス I 内の任意のフレームに「変換」できる変換フィルターです。

この画像変換フレームワークは、U-net に基づいて実装されています。さらに、研究者らは、少数サンプルのトレーニングと時間的一貫性の問題を解決するために、パッチベースのトレーニング方法とビデオのちらつきを抑制するソリューションを採用しました。

パッチベースのトレーニング戦略

キーフレームはサンプル数が少ないデータです。過剰適合を避けるために、研究者は画像ブロックに基づくトレーニング戦略を採用しました。

画像パッチのセット (a) は元のキーフレーム (Ik) からランダムにサンプリングされ、その様式化された対応物 (b) がネットワーク内で生成されます。

次に、これらの様式化された対応物 (b) の損失は、様式化されたキーフレーム (Sk) からサンプリングされた対応する画像パッチを基準にして計算され、誤差が逆伝播されます。

このようなトレーニングスキームは、特定の損失関数に限定されません。この研究では、L1損失、敵対的損失、VGG損失の組み合わせが使用されました。

ハイパーパラメータの最適化

過剰適合問題を解決した後も、ハイパーパラメータの最適化という問題が残ります。不適切なハイパーパラメータは推論の品質を低下させる可能性があります。

研究者らは、グリッド検索法を使用して、ハイパーパラメータの 4 次元空間をサンプリングしました。Wp はトレーニング画像ブロックのサイズ、Nb はバッチ内の画像ブロックの数、α は学習率、Nr は ResNet ブロックの数です。

各ハイパーパラメータ設定について、(1) 指定された時間トレーニングを実行します。(2) 未確認のフレームに対して推論を実行します。(3) 推論されたフレーム (O4) と実際の値 (GT4) の間の損失を計算します。

目標はこの損失を最小限に抑えることです。

時間の一貫性を向上させる

翻訳ネットワークがトレーニングされた後、ビデオスタイルの転送をグラフィックカード上でリアルタイムまたは並行して実装できます。

しかし、研究者たちは、多くの場合、ビデオのちらつきがまだ目立つことを発見しました。

最初の理由は、元のビデオに一時的なノイズが存在することです。これを実現するために、研究者らは時間領域で動作するバイラテラルフィルタの動き補正版を採用しました。

2 番目の理由は、様式化されたコンテンツの視覚的な曖昧さです。解決策は、ネットワークの識別能力を向上させるために追加の入力層を提供することです。

このレイヤーは、ランダムな 2D ガウス分布のスパースセットで構成されており、ネットワークがローカルコンテキストを識別し、あいまいさを抑制するのに役立ちます。

しかし、研究者らはこの方法の限界についても言及している。

様式化されていない新しい特徴が現れた場合、この方法では通常、それらに対して一貫した様式化効果を生成できません。スタイルの一貫性を保つには、追加のキーフレームが必要です。

高解像度（4Kなど）のキーフレームを扱うのは難しい

動き補正バイラテラルフィルタの使用とランダムガウス混合レイヤーの作成には、複数のビデオフレームの取得が必要であり、これによりコンピューティングリソースに対する要求が高まり、リアルタイムビデオストリームでのリアルタイム推論の効果に影響します。（デモのリアルタイムキャプチャセッションでは、時間の一貫性を向上させる処理方法は使用されていません）