ジャクソンはダンスしながら数秒で3Dロボットに変身します！アリババに新しい仕事が誕生：誰でもビデオを置き換えることができる

何が起こっているのか？

アリは新しい仕事を思いついたようです——

MotionShop では、他のシーンやキャラクターを変更することなく、ビデオ内のキャラクターを 3D 画像に置き換えることができます。

たとえば、移民労働者のピグレットは太極拳を練習しています。

これを見て、待ちきれない人もいるでしょう。現在、ModelScope コミュニティで試用できます。

HuggingFace で手配したらどうかと提案する人もいましたが、そうしないと中国語がわからない人はどうなるのでしょうか?

しかし、アリババが最近、多くの派手なことをやっていることは認めざるを得ません。

無料トライアルあり

MotionShop は現在無料トライアルが利用可能で、わずか 3 つのステップで完了します。

ビデオをアップロードし、対象オブジェクトを決定し、置き換える仮想オブジェクトを選択します。

しかし、実際にテストしてみると、いくつか注意すべき点があることがわかりました。

まず、15 秒以内のビデオをアップロードします。文字が完全で、編集できないことを確認してください。

つまり、ショット全体を 1 回の撮影で撮影する必要があり、レンズを切り替えることはできません。

次に人物を置き換えることを選択すると、オブジェクトが自動的に選択され、それがターゲット オブジェクトと一致するかどうかが確認されます。

現在、交換可能なアバターは 4 つだけです。

最後に、行列の待ち時間がかなり長いです...おそらく試す人が多すぎるからでしょう。

どうやってそれを達成するのでしょうか?

アリババの研究チームは、動画内のキャラクターを3Dの人物に置き換えるフレームワークを提案した。

フレームワーク全体は 2 つの部分で構成されます。

1. 背景ビデオシーケンスを抽出および修復するためのビデオ処理パイプライン。

2. 3D キャラクター ビデオのシーケンスを生成するためのポーズ推定およびレンダリング パイプライン。

2つのパイプラインを並列に実行し、高性能レイトレーシングレンダラーTIDEを使用することで、プロセス全体を

7つのステップに分かれています。

最初のステップは文字の検出です。テキスト情報と既存のクローズドセット検出器のトランスフォーマーベースの融合を使用して、ゼロショットのオブジェクト検出を実現します。最終的なターゲット領域は、優位性選択法によって決定されました。

2 番目のステップはセグメンテーションと追跡です。ターゲットの検出に成功した後、SAM モデルの改良とアップグレードであるビデオ オブジェクトのセグメンテーションと追跡方法を使用して、ターゲット領域をピクセル レベルで追跡します。

ステップ3、修復。ビデオの残りの領域は修復されます。これには、損傷したフロー フィールドを復元するための再帰フロー完了メソッドの使用と、画像ドメインとフィーチャ ドメインの両方でのデュアル ドメイン伝播メソッドの使用による、グローバルおよびローカルの時間的一貫性の向上が含まれます。

4番目のステップは姿勢の推定です。姿勢推定法 CVFFS は、安定した人間の姿勢を推定するために使用されます。 SMPL 人体モデルは、3 次元の人体を表現するために使用されます。

ステップ 5: 3D キャラクターを生成します。推定された形状とポーズを選択した 3D モデルに再投影します。

ステップ 6: より自然でリアルな視覚効果を実現するために、さらに光の処理とレンダリングを実行し、3D モデルを元のビデオとより統合します。たとえば、TIDE エンジンを使用して新しい 3D モデルをレンダリングします。精密なマテリアル システムと組み合わせられ、モーション ブラー、時間的アンチエイリアシング、時間的ノイズ除去などのアルゴリズムによってサポートされます。

最後に、レンダリングされたイメージが元のビデオと合成され、最終的なビデオが生成されます。

興味のある方は以下のリンクをクリックしてください:

https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary