Facebook がアルゴリズム コード ライブラリ PySlowFast をオープンソース化、最先端のビデオ理解モデルを簡単に再現

Facebook AI Research は近年、ビデオ理解研究において多くの素晴らしい成果を上げています。最近、FAIRビデオチームは、ICCV関連のセミナーでビデオ認識検出コードライブラリPySlowFastをオープンソース化し、事前学習済みモデルライブラリも公開しました。同時に、チームは最先端の研究成果をこのコードベースにリアルタイムで追加していくとも述べた。

• プロジェクトアドレス: https://github.com/facebookresearch/SlowFast
• チュートリアルのアドレス（PPTT リソース付き）: https://alexanderkirillov.github.io/tutorials/visual-recognition-iccv19/

ビデオとモーションの理解は、今日最も注目されている研究分野の 1 つになっています。しかし、オープンソース コミュニティで簡潔で効率的、かつ変更しやすいビデオ理解コード ベースを見つけるのは、まだ容易ではありません。さらに重要なのは、最先端のディープラーニングモデルを再現することは、研究者にとって常に頭痛の種となっていることです。

これらのビデオ理解モデルには、数十 GFlops と数日間のトレーニングが必要になることがよくあります。モデルを再現するには、細部まで正確にするために実験とパラメータの調整を繰り返す必要があります。これには多くの時間とリソースが消費されることが多く、多くの研究者の意欲を削いでしまいます。

Facebook AI Researchは、CVPRやICCVなどの国際会議で多数の研究成果を発表し、CVPR 2019 Behavior Detection Challengeで優勝しました。そして、今年の ICCV で、FAIR はビデオ理解コード ライブラリ PySlowFast を発表しました。
PySlowfast は PyTorch ベースのコード ライブラリであり、研究者はこれを使用して、基本的なものから最先端のビデオ分類およびアクション検出アルゴリズムまで簡単に再現できます。

さらに、PySlowFast コード ベースは多数のオープンソースの事前トレーニング済みモデルも提供しており、研究者はモデルを繰り返しトレーニングする手間が省け、FAIR 事前トレーニング済みの最先端のパフォーマンス モデルを直接使用できるようになります。

pySlowFastオープンソースモデルの視覚的検出結果

PySlowFast はオープンソースとしてリリースされて以来、GitHub のトレンドリストのトップ 10 にランクされています。以下は、このオープンソース プロジェクトの簡単な紹介です。

ワークショップのチュートリアルとオープンソース コード ライブラリの情報によると、PySlowFast はビデオ理解のベースライン モデルと、今日の最先端のビデオ理解アルゴリズムの再現の両方を提供します。そのアルゴリズムには、ビデオ分類だけでなく、アクション分類アルゴリズムも含まれます。

今日のオープンソース コミュニティにおけるさまざまなビデオ認識ライブラリのパフォーマンスのばらつきと比較すると、PySlowFast を使用すると、今日の最先端のモデルを簡単に再現できます。

ビデオ認識（キネティクス）

表 1: ビデオ分類データベース Kinetics 400 での PySlowFast のパフォーマンス (https://github.com/facebookresearch/SlowFast/blob/master/MODEL_ZOO.md からの抜粋)

PySlowFast は、ビデオ分類だけでなくビデオ理解にも使用でき、2019 CVPR ActivityNet Challenge Winner を獲得したビデオ検出モデルを提供します。
行動検出 (AVA)

さらに、PySlowFast には、簡単な編集を通じてマルチモーダル ビデオ理解、ビデオ自己教師学習、その他のタスクをサポートできるインターフェイスが用意されています。チームによると、PySlowFast は積極的にメンテナンスされ、チームと業界の最先端のアルゴリズムをリアルタイムで更新し、事前トレーニング済みのモデルをオープンソース化して、コードベースをビデオ理解の分野におけるベースラインベンチマークにする予定だという。

次のチュートリアルを通じて、読者は PySlowFast コード ライブラリを簡単に試すことができます。インストールが完了したら、MODEL_ZOO が提供する事前トレーニング済みモデルと対応する構成ファイルをダウンロードし、次のコードを実行することで、さまざまなビデオ データベースでモデルのパフォーマンスをテストできます。

 Python ツール/run_net.py
  --cfg configs/Kinetics/C2D_8x8_R50.yaml
  DATA.PATH_TO_DATA_DIR データセットへのパス
  数2   

このコードライブラリにより、最先端の高性能モデルを簡単に再現できることがわかります。同時に、読者は簡単な変更で独自のモデルを実装し、複数の GPU でトレーニングして最先端のパフォーマンスを得ることもできます。