Meta がピクセルレベルのモーション トラッキング モデルを発表、簡易版はオンラインで利用可能

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

ビデオモーショントラッキングはピクセル単位で正確です。

Meta の最新のビデオ追跡ツールCoTracker は、リリース後すぐに GitHub で 1.4k 個のスターを獲得しました。

公式が公開したいくつかのデモから判断すると、その効果は依然として非常に衝撃的です。

馬術競技では、騎手の制御下にある馬が障害物を優雅に越え、美しい弧を描きます。

まるで風の影を捉えているかのように、波に乗る帆船もありました。

反対側では、スカイダイバーが空を飛び、美しい虹を残していきました...

この新しい「おもちゃ」について、一部のネットユーザーは、物体追跡技術を変えるだけでなく、スポーツ（アクション）分析、野生動物追跡、さらには映画のポストプロダクションにも新たな革命をもたらすだろうとコメントした。

早速、シンプルなオンライン版も試してみましたので、以下で見てみましょう。

ピクセルトラックを正確に記録

まず、四川省の有名なネットスターであり、パンダ界で一番人気のスターである「郭来」が華々しく登場しますので、お迎えください。

Huahua の容赦ない足取りはすべて CoTracker で記録されており、とても愛らしいです。

しかし、ドラマになると、やはり「西直門の第三王子」孟蘭かもしれません。

かわいいパンダを見た後は、実写に移りましょう。名シーンをピックアップしていきましょう！

これについては、これ以上の説明は不要でしょう（きっと）。

上の古い友人の他に、王静澤がチャーハンを食べているショットもあります。

彼の正直な行動はCoTrackerの前で完全に暴露されました。

地球の反対側では、マスク氏が FSD を使ってテスラを運転し、ザッカーバーグ氏を探すビデオをライブ配信し、心のこもった友好的なやり取りの準備をしていた。

CoTracker の効果はここに示されています。他の効果を確認したい場合は、自分で試してみることができます。

ポータル: https://huggingface.co/spaces/facebook/cotracker

ただし、オンライン デモは簡易バージョンであり、カスタム追跡位置をサポートしておらず、入力された追跡量に基づいて等距離にのみ分散できます。

ただし、自分でデプロイしてコードで操作すれば、任意の追跡ポイントを設定できます。

さて、CoTracker の導入方法を見てみましょう。

まず、Colab バージョンです。先ほど説明したカスタム トラッキング ポイントも Colab にあります。

ポータル: https://colab.research.google.com/github/facebookresearch/co-tracker/blob/master/notebooks/demo.ipynb

Colab のプロセスを詳細に紹介する必要はありません。入力したら、ノートブック内のコードを実行するだけです。

自分でやりたい場合、最も簡単な方法は、事前トレーニング済みバージョンを torch.hub から直接呼び出すことです。

 pip install einops timm tqdm

 import torch import timm import einops import tqdm cotracker = torch.hub.load("facebookresearch/co-tracker", "cotracker_w8")

モデルを評価またはトレーニングする場合は、GitHub リポジトリを使用する方が適切です。

まず、プログラムと関連する依存関係をインストールします。

 git clone https://github.com/facebookresearch/co-tracker cd co-tracker pip install -e . pip install opencv-python einops timm matplotlib moviepy flow_vis

次にモデルをダウンロードします。

 mkdir checkpoints cd checkpoints wget https://dl.fbaipublicfiles.com/cotracker/cotracker_stride_4_wind_8.pth wget https://dl.fbaipublicfiles.com/cotracker/cotracker_stride_4_wind_12.pth wget https://dl.fbaipublicfiles.com/cotracker/cotracker_stride_8_wind_16.pth cd ..

評価とトレーニング方法については、GitHub プロジェクト ページをご覧ください。リンクは記事の最後にあります。

では、CoTracker はどのようにしてピクセルレベルのトラッキングを実現するのでしょうか?

DINOv2よりも高いスコアを獲得

どちらも追跡機能を備えていますが、CoTracker とオブジェクト追跡モデルは大きく異なります。

CoTracker は、意味理解に基づいてビデオ内のオブジェクトをセグメント化するのではなく、ピクセルに焦点を当てます。

基礎レベルでは、CoTracker は Transformer アーキテクチャを採用しています。

Transformer は、ビデオ内のポイントの追跡情報をエンコードし、ポイントの位置を繰り返し更新します。

推論の面では、CoTracker は時間軸上でスライディング ウィンドウを分割するウィンドウ メカニズムも採用しています。

CoTracker は、前のウィンドウの出力を使用して後続のウィンドウを初期化し、各ウィンドウで複数の Transformer 反復を実行します。

これにより、CoTracker はより長いビデオでピクセルレベルのトラッキングを実行できるようになります。

つまり、ある程度のトレーニングを経て、CoTracker は良い結果を達成しました。

FastCapture データセット テストでは、Meta 独自の DINOv2 を含む多数のモデルの中で、CoTracker のパフォーマンスが際立っていました。

つまり、気に入ったらぜひ試してみてください!

論文アドレス: https://arxiv.org/pdf/2307.07635.pdfGitHub プロジェクトページ:
https://github.com/facebookresearch/co-tracker