大規模なカーネル畳み込みを3つのステップに分割し、清華大学の胡世民氏のチームの新しいビジュアルバックボーンが3つの主要なタスクでリストのトップに立った。

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

視覚タスクでは、CNN と ViT にはそれぞれ長所と短所があります。

そのため、古典的なバックボーンを基礎として、詳細に相互に学習することが、最近注目されている研究方向になっています。

以前、Microsoft のSwinTransformer はCNN のスライディング ウィンドウなどの機能を導入し、ダウンストリーム タスクのリストでトップになり、Marr Prize を受賞しました。

その後、Meta AI のConvNeXT はViT の多くの技術を使用して ResNet を修正し、そのパフォーマンスを上回りました。

現在、新たなバックボーンであるVAN (Visual Attention Network) が再び学界の注目を集めています。

なぜなら、この新モデルは、上記の 2 つを上回り、 3 つの主要な視覚タスクのリストで再びトップになったからです。

VAN は CNN と ViT の両方の利点を取り入れ、シンプルで効率的であり、精度が高く、パラメーターと計算の数が少ないと主張しています。

VAN は、清華大学の Hu Shimin 氏が率いるチームによるものです。彼らは、標準的な大規模カーネル畳み込みを 3 つの部分に分解できると提案しました。

深さ方向畳み込み (DW-Conv)、深さ方向膨張畳み込み (DW-D-Conv)、および 1 × 1 畳み込み (1 × 1 Conv)。

さらに重要なのは、要素ごとの乗算ステップを追加することで、アテンションのような効果を実現できることです。チームは新しい畳み込みモジュールをLarge Kernel Attention (LKA ) と名付けました。

また、論文の最後には、現在の VAN は、慎重に磨き上げられていない、直感的な未加工バージョンに過ぎず、将来的に改善される可能性がまだ大きいことも述べられています。

(コードはオープンソースで、アドレスは記事の最後にあります)

大きなカーネル畳み込みを分解すると注目度を計算できる

注意メカニズムは、入力に基づいて主要な特徴を識別し、ノイズを自動的に無視できる適応型選択プロセスとして理解できます。

重要なステップは、入力データの長期的な依存関係を学習し、注意マップを生成することです。

注意マップを生成する一般的な方法は 2 つあります。

1 つ目は NLP の自己注意メカニズムですが、視覚に使用する場合はまだいくつかの欠点があります。たとえば、画像を 1 次元シーケンスに変換すると、その 2 次元構造は無視されます。

2 つ目は視覚的な大規模カーネル畳み込み法ですが、計算オーバーヘッドが大きすぎます。

上記の問題を克服するために、研究チームは大規模なカーネル畳み込みを 3 つの部分に分解する LKA 法を提案しました。

拡張間隔がdであると仮定すると、 K x K畳み込みは、 K/dx K/d 深さ拡張畳み込み、 (2d − 1) × (2d − 1) 深さ方向畳み込みカーネル、および 1 x 1 ポイント方向畳み込みに分解できます。

△cはチャネル

このようにして、計算オーバーヘッドを節約しながら長距離の依存関係をキャプチャし、さらに注意マップを生成することができます。

LKA メソッドは、畳み込みと自己注意の利点を組み合わせるだけでなく、チャネル適応性も獲得します。

CNN では、LKA 方式はMobileNetの 2 部分解方式に似ており、深度拡張畳み込みの増加により長距離の依存関係を捉えることができます。

ViT と比較すると、高解像度画像の場合、自己注意の二次複雑度の計算コストが高すぎるという問題を解決します。

MLP アーキテクチャのgMLPもアテンション メカニズムを導入していますが、固定解像度の画像のみを処理でき、画像のローカル構造を無視してグローバルな特徴のみに焦点を当てています。

理論的には、LKA 方式はすべての当事者の利点を組み合わせ、上記の欠点を克服します。

では、実際の効果はどうでしょうか?

新しいバックボーンランキングの3つの主要タスク

LKA 方式に従って設計された新しいバックボーン ネットワーク VAN は、従来の 4 段階設計を継承しており、具体的な構成は次のとおりです。

各ステージの構造は図に示されています。ダウンサンプリング レートはステップ サイズによって制御され、CFF は畳み込みフィードフォワード ネットワークを表します。

入力と出力の幅、高さ、チャネル数が等しいと仮定すると、計算の複雑さを計算できます。

畳み込みカーネルサイズ（K）が21の場合、パラメータ数を最小化するために拡張間隔（d）は3となり、これがデフォルト設定として使用されます。

チームは、この構成がグローバルな特徴とローカルな特徴の両方を抽出するのに理想的であると考えています。

最後に、ImageNet 上のさまざまなスケールの VAN の精度は、さまざまな CNN、ViT、MLP の精度を上回りました。

COCO 2017の物体検出タスクでも、VANをバックボーンとした複数の検出手法がリードしています。

ADE20K セマンティックセグメンテーションタスクでも同様です。

そして、前述の通り、VAN は、入念な磨きをかけなくても、すでに 3 つの主要タスクをクリアしており、今後も改善の余地が残っています。

今後の改善については、チームはより大きな畳み込みカーネルを試したり、Res2Net のマルチスケール構造や Inception のマルチブランチ構造を導入したりする可能性があると述べた。

さらに、画像の自己教師学習や転移学習における VAN の使用、さらには NLP に使用できるかどうかについても、さらに調査が必要です。

著者について

この論文は、清華大学コンピュータサイエンス学部のHu Shimin 氏のチームによるものです。

胡世民教授は、清華大学の JiTu フレームワーク チームの責任者です。JiTu フレームワークは、中国の大学がオープンソース化した最初のディープラーニング フレームワークです。

第一著者である博士課程の学生 Guo Menghao 氏は現在、清華大学のコンピュータサイエンス学部で学んでおり、JiTu チームのメンバーでもあります。

この論文のコードはオープンソース化されており、Pytorch バージョンとグラフ フレームワーク バージョンの 2 つのバージョンが提供されています。

研究チームは以前、視覚的注意に関するレビューを発表しており、arXivでヒットとなった。

付随する GitHub リポジトリ Awesome-Vision-Attentions (視覚的注意に関する論文のコレクション) にも 1.2k 個のスターが付いています。

最後に、ちょっとした噂ですが、チームはさまざまな視覚的注意のメカニズムを研究した後に、この新しいアイデアを思いついたのでしょうか?

それも666です。

論文の宛先:
https://arxiv.org/abs/2202.09741

GitHub アドレス:
https://github.com/Visual-Attention-Network