たった2枚の写真でAIは完全なモーションプロセスを生成できる

たった2枚の写真でAIは完全なモーションプロセスを生成できる

この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載しています。転載の際は出典元にご連絡ください。

まず横顔(キーフレーム1)を作成します。

もう一つの正面顔(キーフレーム 2)は次のとおりです。

そして、この 2 枚の写真だけに基づいて、AI は動作プロセス全体を生成できます。

そして、単純なものだけではなく、運動中のまばたきの動作までもが「きちんと処理」されています。

この効果が明らかになるとすぐに、Reddit で白熱した議論が巻き起こりました。

たった 2 つのキーフレームで完全なモーションを実現するにはどうすればよいでしょうか?

長いトレーニングプロセスは必要ありません。

大規模なトレーニング データセットは必要ありません。

これらは、論文の著者らが提示したこの研究の 2 つのハイライトです。

具体的には、キーフレームに基づいてビデオをスタイリングする作業です。

まず、N フレームで構成されるビデオ シーケンス I を入力します。各フレームには、関心領域を分割するマスク Mi があります。

以前の方法とは異なり、このスタイル転送は、前のフレームが最初にスタイル設定されるのを待たずにランダムな順序で実行され、異なるキーフレームからのスタイル設定されたコンテンツを明示的にマージする必要もありません。

つまり、この方法は実際には、複数の異種の手描きの例 Sk からスタイルをすばやく学習し、それをビデオ シーケンス I 内の任意のフレームに「変換」できる変換フィルターです。

この画像変換フレームワークは、U-net に基づいて実装されています。さらに、研究者らは、少数サンプルのトレーニングと時間的一貫性の問題を解決するために、パッチベースのトレーニング方法とビデオのちらつきを抑制するソリューションを採用しました。

過剰適合を避けるために、研究者は画像パッチベースのトレーニング戦略を採用しました。

画像パッチのセット (a) は元のキーフレーム (Ik) からランダムにサンプリングされ、その様式化された対応物 (b) がネットワーク内で生成されます。

次に、これらの様式化された対応物 (b) の損失は、様式化されたキーフレーム (Sk) からサンプリングされた対応する画像パッチを基準にして計算され、誤差が逆伝播されます。

このようなトレーニング スキームは、特定の損失関数に限定されません。この研究では、L1損失、敵対的損失、VGG損失の組み合わせが使用されました。

もう一つの問題はハイパーパラメータの最適化です。

不適切なハイパーパラメータにより推論の品質が低下する可能性があるためです。

研究者らは、グリッド検索法を使用して、ハイパーパラメータの 4 次元空間をサンプリングしました。Wp はトレーニング画像ブロックのサイズ、Nb はバッチ内のブロック数、α は学習率、Nr は ResNet ブロックの数です。

各ハイパーパラメータ設定について:

(1)一定時間トレーニングを行う。

(2)見えないフレームについての推論

(3)推定フレーム(O4)と真の値(GT4)間の損失を計算する。

目標はこの損失を最小限に抑えることです。

チームについて

この研究は、プラハのチェコ工科大学コンピュータグラフィックスおよびインタラクション学科の博士課程学生であるオンドレイ・テクスラーによって実施されました。

[[397471]]

この仕事に加えて、彼と彼のチームはこれまでにも多くの興味深い仕事を行ってきました。

例えば、手を動かしながら絵を描くこともできます。

例えば、漫画の絵が与えられた場合、動画の中のあなたにその絵を使って自分自身を表現させることができます。

この興味深い研究について詳しく知るには、以下のリンクをクリックしてください。

参考リンク:

[1] https://www.reddit.com/r/MachineLearning/comments/n3b1m6/r_fewshot_patchbased_training_siggraph_2020_dr/
[2] https://ondrejtexler.github.io/patch-based_training/index.html

<<:  10億のパラメータを持つAIモデルSE​​ERは、すべての人を平等に扱い、富裕層と世界に貢献します。

>>:  「幾何学的ディープラーニング」からのディープラーニングの統合

ブログ    

推薦する

...

先進運転支援システム(ADAS)ライダーのイノベーターであるセプトンとグロースキャピタルが合併契約を締結

先進運転支援システム(ADAS)および自律走行車向けの光ベースの測距技術(LIDAR)の革新企業であ...

...

アルトマンが帰ってきた!取締役会解散の強い要求、OpenAIの究極の宮廷闘争が始まる

スティーブ・ジョブズが解雇されてから王として復帰するまでに12年かかりましたが、サム・アルトマンの場...

...

人工知能は人類のより良い生活を可能にする

新世代人工知能の活発な発展は、科学技術革新と産業のアップグレードと変革の産業推進の焦点となり、経済社...

...

...

古代から皇帝の寿命は短かった。皇帝も負荷分散アルゴリズムを理解していたら...

[51CTO.com オリジナル記事] 古代の皇帝はハーレムに3000人の美女を抱えていたことは誰...

...

...

アンビエントコンピューティングが次の大きなトレンドになる理由

アンビエント コンピューティングとは、テクノロジーが環境にシームレスに溶け込み、日常生活に浸透する世...

ドローンによる食品配達が到来、こうした問題が注目を集めている

無人運転車による配達に続き、ドローンによる食品配達も現実化に向かって加速している。先日終了した202...

人工知能プロジェクトからビジネス価値をうまく引き出すための 8 つの秘訣

[[249778]] AI はビジネスに大きな可能性を秘めていますが、ほとんどの組織がそのメリットを...

...