TorchCVは、北京大学の学生が開発したPyTorchベースのCVモデルフレームワークです。

機械学習によってもたらされたあらゆる破壊的技術の中でも、コンピュータービジョンの分野は業界関係者と学界の両方から最も注目を集めています。

公式バージョン 1.3 がリリースされたばかりの PyTorch は人気が高まっており、このディープラーニング フレームワークを中心に開発されるツールもますます増えています。最近、TorchCV と呼ばれるコンピューター ビジョン モデル フレームワークが GitHub のトレンド リストに載っています。

プロジェクトリンク: https://github.com/donnyyou/torchcv

このライブラリは、ディープラーニングに基づくほとんどの CV 研究問題のソース コードを提供し、ユーザーが最も一般的に使用されている高度なコンピュータ モデルを簡単に呼び出すことができるようにします。 TorchCV の作者 Donny You 氏は北京大学出身で、教育部の機械知覚・知能重点実験室の 3 年生です。

TorchCV でサポートされているモデル

TorchCV は、画像分類、セマンティック セグメンテーション、オブジェクト検出、ポーズ検出、インスタンス セグメンテーション、生成的敵対ネットワークなどのタスクで複数の一般的なモデルをサポートしています。リストは次のとおりです。

画像分類

• VGG: 大規模画像認識のための非常に深い畳み込みネットワーク
• ResNet: 画像認識のための深層残差学習
• DenseNet: 密に接続された畳み込みネットワーク
• ShuffleNet: モバイルデバイス向けの極めて効率的な畳み込みニューラル ネットワーク
• ShuffleNet V2: 効率的な CNN アーキテクチャ設計のための実践的なガイドライン
• 半順序プルーニング: ニューラル アーキテクチャ検索における最高の速度と精度のトレードオフ

セマンティックセグメンテーション

• DeepLabV3: セマンティック画像セグメンテーションのための Atrous 畳み込みの再考
• PSPNet: ピラミッドシーン解析ネットワーク
• DenseASPP: ストリートシーンのセマンティックセグメンテーションのための DenseASPP
• セマンティックセグメンテーションのための非対称非局所ニューラルネットワーク

物体検出

• SSD: シングルショットマルチボックス検出器
• より高速な R-CNN: 領域提案ネットワークによるリアルタイム物体検出に向けて
• YOLOv3: 漸進的な改善
• FPN: 物体検出のための特徴ピラミッドネットワーク

姿勢検出

• CPM: 畳み込みポーズマシン
• OpenPose: パーツ親和性フィールドを使用したリアルタイムの複数人物 2D ポーズ推定

インスタンスのセグメンテーション

マスクR-CNN

生成的敵対ネットワーク

• Pix2pix: 条件付き敵対的ネットワークによる画像間の変換
• CycleGAN: Cycle-Consistent を用いた非対画像間変換

TorchCV のクイック スタート

TorchCV は現在、Python 3.x と pytorch 1.0 のみをサポートしています。

 pip3 インストール -r requirements.txtcd 拡張機能
sh メイク.sh

TorchCVを使用して取得したモデルパフォーマンスデータ

以下に示すパフォーマンス データは、論文の結果を完全に再現しています。

画像分類

セマンティックセグメンテーション

物体検出

姿勢推定

• OpenPose: パーツ親和性フィールドを使用したリアルタイムの複数人物 2D ポーズ推定

インスタンスのセグメンテーション

• マスクR-CNN

生成的敵対ネットワーク

• ピクセツ
• サイクルGAN

TorchCV データセット

TorchCV は、データセット サブディレクトリにあるすべてのタスクのデータ形式を定義します。以下は、セマンティックセグメンテーションのトレーニングに使用されるデータセットのディレクトリツリーの例です。 datasets/seg/preprocess フォルダー内のスクリプトを使用して、オープンソース データセットを前処理できます。

フォルダアドレス: https://github.com/donnyyou/torchcv/tree/master/datasets/seg/preprocess

TorchCV コマンド

プロジェクト作成者は、ユーザーがモデルを使用するためのコマンドライン ツールを提供しています。コードは次のとおりです。

電車

cd スクリプト/seg/cityscapes/
 bash run_fs_pspnet_cityscapes_seg.sh トレインタグ

トレーニングを再開する

cd スクリプト/seg/cityscapes/
 bash run_fs_pspnet_cityscapes_seg.sh トレインタグ

確認する

cd スクリプト/seg/cityscapes/
 bash run_fs_pspnet_cityscapes_seg.sh val タグ

テスト

cd スクリプト/seg/cityscapes/
 bash run_fs_pspnet_cityscapes_seg.sh テストタグ

2019年、PyTorchは徐々にTensorFlowを追い越し、研究分野で最も人気のあるディープラーニングフレームワークになりつつあります。後者を使用する人が増えるにつれて、将来的にはより効率的なツールが登場するでしょう。