Python+AIで静止画像を動かす

こんにちは、みんな。

短い動画を見ているときに、こんな動画を見たことはありませんか？動画の中で、人物の静止画が、首を傾げたり、瞬きをしたりと、動いていることがあります。

次のような効果に類似

一番左の図が本来の動作で、上の図が静止画です。 AI技術により、一番左のキャラクターの動きを上の静止画に適用し、すべての画像で同じ動きを実現できます。

この技術は、一般的に GAN (生成的敵対的ネットワーク) に基づいて実装されます。今日は、上記の効果を再現できるオープンソースプロジェクトを紹介します。興味深いプロジェクトを実行したり、古い友人を思い出したりすることができます。

1. プロジェクトを実行する

プロジェクトアドレス: https://github.com/AliaksandrSiarohin/first-order-model

まず、git clone はプロジェクトをローカルコンピューターにダウンロードし、プロジェクトに入って依存関係をインストールします。

 git クローン https://github.com/AliaksandrSiarohin/first-order-model.git
 cd 一次モデル
pip インストール -r 要件.txt

次に、プロジェクトのホームページの「事前トレーニング済みチェックポイント」の見出しの下にあるモデルのダウンロードリンクを見つけて、モデルファイルをダウンロードします。モデルは多数あります。私は vox-adv-cpk.pth.tar を使用しました。

モデルファイルを準備したら、プロジェクトのルートディレクトリで以下のコマンドを実行します。

 python デモ.py \
 --config config/vox-adv-256.yaml \
 --運転ビデオ src_video.mp4 \
 --ソースイメージ src_img.jpg \
 --チェックポイント重み/vox-adv-cpk.pth.tar

パラメータを説明します。

--config: ソースファイル内のモデル構成ファイル
--driving_video: アクションのビデオを提供します
--source_image: アニメーション化する必要がある静止画像
--checkpoint: ダウンロードしたモデルファイル

実行が完了すると、次の入力が表示されます。

このプロジェクトは PyTorch を使用してニューラルネットワークを構築し、GPU と CPU の操作をサポートしているため、コンピューターに CPU しかない場合は実行速度が遅くなります。

CPU で実行しています。上の図からわかるように、 driving_video には 31 フレームしかありません。 CPU でも実行している場合は、 driving_video ビデオの継続時間を制御するのが最適です。そうしないと、実行時間が長くなります。

このプロジェクトでは、自分で興味深い試みをいくつか行うことができます。

2. Python API

上記では、公式 Web サイトに従って、コマンドラインでプロジェクトを実行する方法を説明しています。

友人の中には、これを Python プロジェクトで呼び出したい人もいるかもしれないので、demo.py のコアコードを抽出し、Python API をカプセル化しました。

困っている友人は、このファイルをダウンロードし、first-order-model と同じディレクトリに置き、次のコードに従って呼び出すことができます。

フォム = FOM()
 # ドライバー ビデオを表示します。ドライバー ビデオは 480 x 640 のサイズにトリミングするのが最適です。
運転ビデオ = ''
 # 駆動スクリーン
ソース画像 = ''
 # ビデオを出力する
結果ビデオ = ''
 # 運転画面
fom.img_to_video(運転中のビデオ、ソース画像、結果のビデオ)