MLP および Re-Parameter シリーズに関する人気の論文を含む、注目メカニズムの 17 個の PyTorch 実装

[[415286]]

注意メカニズムは、最初はコンピュータービジョンで使用され、その後 NLP の分野で開発されました。このメカニズムは、重要な情報に限定された注意を集中させることで、リソースを節約し、最も効果的な情報を迅速に取得します。

2014年にGoogle DeepMindが「Recurrent Models of Visual Attention」を発表し、注目のメカニズムが普及しました。2015年には、Bahdanauらが論文「Neural Machine Translation by Jointly Learning to Align and Translate」で注目メカニズムを初めてNLP分野に適用しました。2017年には、Google機械翻訳チームが「Attention is All You Need」を発表し、RNNやCNNなどのネットワーク構造を完全に放棄し、注目メカニズムのみを使用して機械翻訳タスクを実行し、非常に優れた結果を達成しました。そのため、注目メカニズムは研究のホットスポットとなっています。

数年にわたる開発を経て、この分野では注意メカニズムの研究に関する多くの論文が発表され、これらの研究は CV と NLP の分野で優れた成果を上げています。最近、GitHub 上で、ある研究者が、注目メカニズムに関する 17 件の論文の PyTorch コード実装と使用法を紹介しました。

プロジェクトアドレス: https://github.com/xmu-xiaoma666/External-Attention-pytorch

プロジェクト紹介

プロジェクトの著者らは、注意メカニズムをAttention シリーズ、MLP シリーズ、ReP (Re-Parameter) シリーズの 3 つのシリーズに分類しました。 Attentionシリーズには有名な「Attention is All You Need」を含む11本の論文が含まれ、最近人気のMLPシリーズにはGoogleのMLP-Mixer、gMLP、FacebookのResMLP、TsinghuaのRepMLPが含まれます。さらに、ReP（Re-Parameter）シリーズにはTsinghuaなどが提案したRepVGGやACNetが含まれます。

Attention シリーズの11 のAttention 論文の Pytorch 実装は次のとおりです。

論文「自己注意を超えて: 視覚タスクのための 2 つの線形レイヤーを使用した外部注意---arXiv 2020.05.05」の Pytorch 実装
論文「Attention Is All You Need---NIPS2017」の Pytorch 実装
論文「Simplified Self Attention Usage」の Pytorch 実装
論文「Squeeze-and-Excitation Networks---CVPR2018」の Pytorch 実装
論文「Selective Kernel Networks---CVPR2019」の Pytorch 実装
論文「CBAM: 畳み込みブロックアテンションモジュール---ECCV2018」の Pytorch 実装
論文「BAM: Bottleneck Attention Module---BMCV2018」の Pytorch 実装
論文「ECA-Net: 深層畳み込みニューラルネットワークの効率的なチャネルアテンション - CVPR2020」の Pytorch 実装
論文「シーンセグメンテーションのためのデュアルアテンションネットワーク---CVPR2019」の Pytorch 実装
論文「EPSANet: 畳み込みニューラルネットワーク上の効率的なピラミッド分割注意ブロック - arXiv 2020.05.30」の Pytorch 実装
論文「ResT: 視覚認識のための効率的なトランスフォーマー - arXiv 2020.05.28」の Pytorch 実装

MLP (多層パーセプトロン) シリーズには、次の Pytorch 実装に関する4 つの論文が含まれています。

論文「RepMLP: 画像認識のための畳み込みを完全接続層に再パラメータ化---arXiv 2020.05.05」の Pytorch 実装
論文「MLP-Mixer: ビジョンのためのオール MLP アーキテクチャ - arXiv 2020.05.17」の Pytorch 実装
論文「ResMLP: データ効率の良いトレーニングによる画像分類のためのフィードフォワードネットワーク---arXiv 2020.05.07」の Pytorch 実装
論文「MLP に注目---arXiv 2020.05.17」の Pytorch 実装

ReP (Re-Parameter) シリーズには、Pytorch 実装に関する2 つの論文が含まれています。論文は次のとおりです。

論文「RepVGG: VGG スタイルの ConvNet を再び優れたものにする - CVPR2021」の Pytorch 実装
論文「ACNet: 非対称畳み込みブロックによる強力な CNN のカーネルスケルトンの強化 - ICCV2019」の Pytorch 実装

要約すると、このプロジェクトでは、Pytorch を使用して 17 個の注意メカニズム論文を実装します。各論文には、タイトル（論文への直接リンク付き）、ネットワークアーキテクチャ、コードが含まれています。次に例を示します。

論文:「自己注意を超えて: 視覚タスクのための 2 つの線形レイヤーを使用した外部注意」。

ネットワークフレームワーク:

コード：

 attention.ExternalAttention から * import * ExternalAttention
輸入トーチ
入力 = torch.randn( 50 , 49 , 512 )
 ea = 外部注意(d_model= 512 ,S= 8 )
出力 = ea(入力)
出力形状を印刷する