中国科学技術大学が提案したCNNとTransformerのデュアルネットワークモデルの精度は84.1%にも達する

[[416636]]

Transformer と CNN はどちらも独自の利点を持ち、視覚表現を処理する際に避けられない問題がいくつかあります。そこで、中国科学技術大学、彭城研究所、ファーウェイの研究者らは初めてこの2つを統合し、計算量を大幅に増やすことなく基本ネットワーク特性評価機能を大幅に向上できる新しいコンフォーマーモデルを提案した。この論文はICCV 2021に採択されました。

畳み込み演算は局所的な特徴を抽出するのには適していますが、全体的な表現を抽出する機能はありません。

画像の全体的な情報を認識するために、CNN は積み重ねられた畳み込み層に依存し、プーリング操作を使用して受容野を拡大する必要があります。

Visual Transformer の導入により、視覚表現における CNN の独占が打ち破られました。

自己注意メカニズムのおかげで、Visual Transformer (ViT、Deit) はグローバルかつ動的な受容野の機能を備え、画像認識タスクでより良い結果を達成しました。

ただし、計算が複雑なため、Transformer では入力解像度を下げてダウンサンプリングのステップサイズを大きくする必要があり、パッチ分割段階で画像の詳細情報が失われます。

そこで、中国科学院大学彭城研究所とファーウェイは共同で、TransformerとCNNを統合したConformerベースのネットワークモデルを提案しました。

Conformer モデルは、計算量を大幅に増やすことなく、基本ネットワーク表現機能を大幅に向上させることができます。現在、この論文はICCV 2021に採択されています。

論文アドレス: https://arxiv.org/abs/2105.03889

プロジェクトアドレス: https://github.com/pengzhiliang/Conformer

さらに、Conformer には並列 CNN ブランチと Transformer ブランチが含まれており、機能結合モジュールを通じてローカル機能とグローバル機能を融合し、画像の詳細を失うことなくグローバルな画像情報を取得することを目指しています。

特徴マップの視覚化

比較的複雑な背景を持つ画像の特徴を視覚化して、Conformer がローカル情報とグローバル情報をキャプチャする機能を示します。

浅い Transformer (DeiT) 特徴マップ (列 c) は ResNet (列 a) と比較して多くの詳細情報を失いますが、Conformer の Transformer ブランチ特徴マップ (列 d) はローカル特徴をより適切に保持します。
ディープフィーチャマップから見ると、DeiT フィーチャマップ (列 g) は ResNet (列 e) と比較してグローバルフィーチャ情報を保持していますが、ノイズは少し大きくなっています。
Transformer ブランチによって提供されるグローバル機能のおかげで、Conformer CNN ブランチ機能マップ (列 f) は (列 e と比較して) より完全な機能を保持します。
DeiT (列 g) と比較すると、Transformer ブランチ機能マップ (列 h) はより詳細な情報を保持し、ノイズを抑制します。

ネットワーク構造

Conformer は並列デュアルネットワーク構造であり、CNN ブランチは ResNet 構造を採用し、Transformer ブランチは ViT 構造を採用しています。

ネットワーク構造図

(b) は、各ブロックにおける Trans と Conv の接続関係を示しています。2 つのボトルネックを例にとると、最初のボトルネックの 3x3 畳み込み後のローカル特徴は、特徴結合モジュール (FCU) を介して Transformer ブロックに渡されます。

Transformer ブロックは、このローカル機能を前の Trans ブロックのグローバル機能に追加し、現在の Trans ブロックに渡します。操作が完了すると、結果は FCU モジュールを介して Conv ブロックに返されます。

Conv ブロックの最後のボトルネックでは、1x1 畳み込みの後にローカル特徴に追加し、それらを一緒に 3x3 畳み込みに入力します。

Transformer ブロックが 2 つの 3x3 畳み込みの間に挟まれている理由は 2 つあります。

ボトルネックの 3x3 畳み込みのチャネル数は比較的少ないため、FCU の fc 層のパラメータはそれほど大きくなりません。
3x3 畳み込みには強力な位置事前情報があり、位置エンコーディングを削除した後のパフォーマンスを保証します。

実験結果

Conformer ネットワークは、ImageNet での分類実験に使用され、MSCOCO でのオブジェクト検出およびインスタンス分割実験用の事前トレーニング済みモデルとして使用されました。

分類精度の比較

3770 万のパラメータと 10.6GFlops の計算能力を持つ Conformer-S は、8660 万のパラメータと 17.6GFlops の計算能力を持つ DeiT-B を約 1.6% 上回る精度を達成しました。

Conformer-S がパラメータ数を 83.3M に増やすと、精度は 84.1% に達します。

異なるベースネットワークの分類速度と精度の比較:

オブジェクト検出とインスタンスセグメンテーションの結果の比較

実行中のフレームレートは次のとおりです。

オブジェクト検出とインスタンスセグメンテーションのフレームレート比較

FPN + Faster Mask R-CNN フレームワークを使用する場合、Conformer-S/32 は、同等のフレームレート、パラメーター、計算複雑度で、オブジェクト検出精度で Faster RCNN を 3.7%、インスタンスセグメンテーションで Mask R-CNN を 3.6% 上回ります。