機械学習の新しいお気に入り：対照学習論文の大規模なコレクション、60以上の論文が分類され、これまでにないほど包括的

みなさんこんにちは。私はDiaobaiです。

対照学習は最近非常に人気が高まっています。主要なトップカンファレンスが論文提出を競うほどの注目分野となっています。その人気の理由は非常に単純で、教師ありトレーニング用のラベル付きデータが限られているという典型的な問題を解決するからです (この問題は業界では非常に一般的です)。したがって、対照学習の出現は、CV、NLP、推奨に大きなメリットをもたらしました。具体的には、次のようになります。

1. CV分野では、「自己教師あり事前学習モデルを使用して、画像自体の事前知識分布を吸収し、より大きな注釈付きデータセットがない場合でも事前学習モデルを取得する方法」という問題を解決しました。

2. NLPの分野では、「自己教師あり事前学習で使用するデータの量が多く、モデルが複雑であればあるほど、モデルが吸収できる知識が多くなり、下流のタスクへの影響も大きくなる」ことが検証されています。

3. 推薦の分野では、データのスパース性、アイテムのロングテール分布、クロスドメイン推薦における複数の異なるビューの集約、モデルの堅牢性の向上またはノイズとの戦いという4つの理由が解決されています。ご興味があれば、私が書いたこの記事をお読みください。推薦システムで学習する必要がある対照的な学習方法

そこで、対照学習の最先端の方向性と最新の進展をより明確に把握するために、過去1年間の主要なトップカンファレンスにおける対照学習関連の論文をまとめました。ICLR2021、SIGIR2021、WWW2021、CVPR2021、AAAI2021、NAACL2021、ICLR2020、NIPS2020、CVPR2020、ICML2020、KDD2020の11のカンファレンスから合計60件以上の論文をカバーしています。この編集物は長い論文と研究論文に重点を置いており、少数の短い論文と業界論文も含まれています。

この記事でまとめた論文リストはGitHubに更新されました。GitHubでは今後もカンファレンスのトップ論文を更新していきます。フォローやスターをよろしくお願いします〜

https://github.com/coder-duibai/Contrastive-Learning-Papers-Codes

9つのカテゴリーに分かれている

素晴らしい対照学習論文とコード。

60 以上の論文とそのコードを 9 つのカテゴリに分類しました。

1. コンピュータービジョン

最初のカテゴリはコンピュータービジョンです。これは、19 件の論文のコードを含む、最もコンテンツの多い章でもあります。

最近では、Kaiming He 氏が提案した MoCo や MoCo v2、Geoffrey Hinton 氏が提案した SimCLR や SimCLR v2 など、非常に有名なモデルが数多くあります。

1. [PCL] 教師なし表現のプロトタイプ対照学習。ICLR2021。著者:Junnan Li、Pan Zhou、Caiming Xiong、Steven CH Hoi。論文コード

2. [BalFeat] 表現学習のためのバランスのとれた特徴空間の探索。ICLR2021。

著者: Bingyi Kang、Yu Li、Sa Xie、Zehuan Yuan、Jiashi Feng。論文

3. [MiCE] MiCE: 教師なし画像クラスタリングのための対照的な専門家の混合。ICLR2021。著者:Tsung Wei Tsai、Chongxuan Li、Jun Zhu。論文コード

4. [i-Mix] i-Mix: 対照的表現学習を正規化する戦略。ICLR2021。

著者: Kibok Lee、Yian Zhu、Kihyuk Sohn、Chun-Liang Li、Jinwoo Shin、Honglak Lee。論文コード

5. ハードネガティブサンプルを使用した対照学習。ICLR2021。

著者:Joshua Robinson、Ching-Yao Chuang、Suvrit Sra、Stefanie Jegelka。論文コード

6. [LooC] 対照学習において対照的であってはならないもの。ICLR2021。

著者:Tete Xiao、Xiaolong Wang、Alexei A. Efros、Trevor Darrell。論文

7. [MoCo] 教師なし視覚表現学習のための運動量コントラスト。CVPR2020。

著者: Kaiming He、Haoqi Fan、Yuxin Wu、Saining Xie、Ross Girshick。論文コード

8. [MoCo v2] Momentum Contrastive Learning によるベースラインの改善。

著者: Xinlei Chen、Haoqi Fan、Ross Girshick、Kaiming He。論文コード

9. [SimCLR] 視覚表現の対照学習のためのシンプルなフレームワーク。ICML2020。著者: Ting Chen、Simon Kornblith、Mohammad Norouzi、Geoffrey Hinton。論文コード

10. [SimCLR v2] 大規模な自己教師ありモデルは強力な半教師あり学習者です。NIPS2020。

著者: Ting Chen、Simon Kornblith、Kevin Swersky、Mohammad Norouzi、Geoffrey Hinton。論文コード

11. [BYOL] 独自の潜在変数をブートストラップする: 自己教師あり学習への新しいアプローチ。

著者:Jean-Bastien Grill、Florian Strub、Florent Altché、Corentin Tallec、Pierre H など。

12. [SwAV] 対照的なクラスター割り当てによる視覚的特徴の教師なし学習。NIPS2020。著者: Mathilde Caron、Ishan Misra、Julien Mairal、Priya Goyal、Piotr Bojanowski、Armand Joulin。論文コード

13. [SimSiam] シンプルなシャム表現学習の探求。CVPR2021。

著者: Xinlei Chen、Kaiming He。論文コード

14. 対照学習のためのハードネガティブミキシング。NIPS2020。

著者: Yannis Kalantidis、Mert Bulent Sariyildiz、Noe Pion、Philippe Weinzaepfel、Diane Larlus。論文

15. 教師あり対照学習。NIPS2020。著者: Pranay Khosla、Piotr Teterwak、Chen Wang、Aaron Sarna、Yonglong Tian、Phillip Isola、Aaron Maschinot、Ce Liu、Dilip Krishnan。論文

16. [LoCo] LoCo: 局所的対照表現学習。NIPS2020。

著者:Yuwen Xiong、Mengye Ren、Raquel Urtasun。論文

17. 対照学習に適したビューとは何か? NIPS2020。

著者: Yonglong Tian、Chen Sun、Ben Poole、Dilip Krishnan、Cordelia Schmid、Phillip Isola。論文

18. [ContraGAN] ContraGAN: 条件付き画像生成のための対照学習。NIPS2020。

著者: ミングク・カン、ジェシク・パーク。論文コード

19. [SpCL] ドメイン適応型オブジェクト再識別のためのハイブリッドメモリによる自己ペースの対照学習。NIPS2020。

著者: Yixiao Ge、Feng Zhu、Dapeng Chen、Rui Zhao、Hongsheng Li。論文コード

2. オーディオ

2番目のカテゴリはオーディオで、論文は1件、wav2vec 2.0

1. wav2vec 2.0: 音声表現の自己教師学習のためのフレームワーク。

著者:Alexei Baevski、Henry Zhou、Abdelrahman Mohamed、Michael Auli。論文コード

3. ビデオとマルチモーダル

3番目のカテゴリはビデオとマルチモーダルで、主にICLR2021とNIPS2020の論文、少数のCVPR2020、および12の論文の実装が含まれます。

1. 時間対照ネットワーク: ビデオからの自己教師学習。

著者: Pierre Sermanet、Corey Lynch、Yevgen Chebotar、Jasmine Hsu、Eric Jang、Stefan Schaal、Sergey Levine。論文

2. コントラストマルチビューコーディング。

著者: Yonglong Tian、Dilip Krishnan、Phillip Isola。論文コード

3. 対照的双方向トランスフォーマーを使用したビデオ表現の学習。

著者: Chen Sun、Fabien Baradel、Kevin Murphy、Cordelia Schmid。論文

4. キュレーションされていない指導ビデオからの視覚表現のエンドツーエンド学習。CVPR2020。

著者:Antoine Miech、Jean-Baptiste Alayrac、Lucas Smaira、Ivan Laptev、Josef Sivic、Andrew Zisserman。論文コード

5. 一般化されたデータ変換からのマルチモーダル自己監督。

著者:マンデラ・パトリック、ユキ・M・アサノ、ポリーナ・クズネツォワ、ルース・フォン、ジョアン・F・エンリケス、ジェフリー・ツヴァイク、アンドレア・ヴェダルディ。

6. ビデオテキスト表現学習のサポートセットのボトルネック。ICLR2021。

著者:Mandela Patrick、Po-Yao Huang、Yuki Asano、Florian Metze、Alexander Hauptmann、João Henriques、Andrea Vedaldi。論文

7. ペア画像とテキストからの医療視覚表現の対照学習。ICLR2021。

著者:Yuhao Zhang、Hang Jiang、Yasuhide Miura、Christopher D. Manning、Curtis P. Langlotz。論文

8. AVLnet: 教育ビデオからオーディオビジュアル言語表現を学習する。

著者:Andrew Rouditchenko、Angie Boggust、David Harwath、Brian Chen、Dhiraj Joshi、Samuel Thomas、Kartik Audhkhasi、Hilde Kuehne、Rameswar Panda、Rogerio Feris、Brian Kingsbury、Michael Picheny、Antonio Torralba、James Glass。論文

9. 自己教師ありマルチモーダル多目的ネットワーク。NIPS2020。

著者: Jean-Baptiste Alayrac、Adrià Recasens、Rosalia Schneider、Relja Arandjelović、Jason Ramapuram、Jeffrey De Fauw、Lucas Smaira、Sander Dieleman、Andrew Zisserman。論文

10. ビデオ表現学習のためのメモリ拡張型高密度予測コーディング。

著者:Tengda Han、Weidi Xie、Andrew Zisserman。論文コード

11. 時空間コントラストビデオ表現学習。

著者:Rui Qian、Tianjian Meng、Boqing Gong、Ming-Hsuan Yang、Huisheng Wang、Serge Belongie、Yin Cui。論文コード

12. ビデオ表現学習のための自己教師付き共同トレーニング。NIPS2020。

著者:Tengda Han、Weidi Xie、Andrew Zisserman。論文

4. NLP

4番目のカテゴリは自然言語処理で、主にICLR2021とNAACL2021の論文が含まれ、14件の研究実装があります。

1. [CALM] 概念中心の常識のためのテキストからテキストへの変換の事前トレーニング。ICLR2021。著者:Wangchunshu Zhou、Dong-Ho Lee、Ravi Kiran Selvam、Seyeon Lee、Xiang Ren。papercode

2. テキスト生成のための残差エネルギーベースのモデル。ICLR2021。

著者:Yuntian Deng、Anton Bakhtin、Myle Ott、Arthur Szlam、Marc'Aurelio Ranzato。論文

3. 条件付きテキスト生成のための敵対的摂動による対照学習。ICLR2021。

著者: Seanie Lee、Dong Bok Lee、Sung Ju Hwang。論文

4. [CoDA] CoDA: 自然言語理解のためのコントラスト強調および多様性促進データ拡張。ICLR2021。

著者: Yanru Qu、Dinghan Shen、Yelong Shen、Sandra Sajeev、Jiawei Han、Weizhu Chen。論文

5. [FairFil] FairFil: 事前学習済みテキストエンコーダーの対照的ニューラルデバイアス法。ICLR2021。

著者: Pengyu Cheng、Weituo Hao、Siyang Yuan、Shijing Si、Lawrence Carin。論文

6. 堅牢かつ効率的な対照テキスト表現学習に向けて。ICLR2021。

著者:Liqun Chen、Yizhe Zhang、Dianqi Li、Chenyang Tao、Dong Wang、Lawrence Carin。論文

7. 小規模でロングテールのテキストデータからの自己教師ありの対照的なゼロから少数ショットの学習。ICLR2021。

著者:Nils Rethmeier、Isabelle Augenstein。論文

8. 高密度テキスト検索のための近似最近傍負対比学習。ICLR2021。

著者:Lee Xiong、Chenyan Xiong、Ye Li、Kwok-Fung Tang、Jialin Liu、Paul Bennett、Junaid Ahmed、Arnold Overwijk。論文

9. 会話エージェントにおける効率的なユーザー満足度予測のための自己教師付き対照学習。NAACL2021。

著者:Mohammad Kachuee、Hao Yuan、Young-Bum Kim、Sungjin Lee。論文

10. VQA モデルの SOrT 化: 一貫性を向上させるための対照勾配学習。NAACL2021。

著者: Sameer Dharur、Purva Tendulkar、Dhruv Batra、Devi Parikh、Ramprasaath R. Selvaraju。論文

11. 対照学習によるクラスタリングのサポート。NAACL2021。

著者:Dejiao Zhang、Feng Nan、Xiaokai Wei、Shangwen Li、Henghui Zhu、Kathleen McKeown、Ramesh Nallapati、Andrew Arnold、Bing Xiang。論文

12. ノイズ対照推定におけるハードネガティブの理解。NAACL2021。

著者: Wenzheng Zhang、Karl Stratos。論文

13. 対照的自己教師学習による文脈化および一般化文表現：談話関係分析の事例研究。NAACL2021。著者：清丸宏和、黒橋貞雄。論文

14. 弱い監督による事前学習済み言語モデルの微調整：対照的に正規化された自己学習アプローチ。NAACL2021。

著者:Yue Yu、Simiao Zuo、Haoming Jiang、Wendi Ren、Tuo Zhao、Chao Zhang。論文

5. 言語対照学習カテゴリー5

これは言語モデルです。この方向の論文は 5 件あります。

1. 単語と句の分散表現とその構成性。2013NIPS。

著者:Tomas Mikolov、Ilya Sutskever、Kai Chen、Greg Corrado、Jeffrey Dean。論文

2. 文の表現を学習するための効率的なフレームワーク。

著者:Lajanugen Logeswaran、Honglak Lee。論文

3. XLNet: 言語理解のための一般化自己回帰事前トレーニング。

著者:Zhilin Yang、Zihang Dai、Yiming Yang、Jaime Carbonell、Ruslan Salakhutdinov、Quoc V. Le。論文

4. 言語表現学習における相互情報最大化の観点。

著者: Lingpeng Kong、Cyprien de Masson d'Autume、Wang Ling、Lei Yu、Zihang Dai、Dani Yogatama。論文

5. InfoXLM: クロスリンガル言語モデルの事前トレーニングのための情報理論的フレームワーク。

著者:Zewen Chi、Li Dong、Furu Wei、Nan Yang、Saksham Singhal、Wenhui Wang、Xia Song、Xian-Ling Mao、Heyan Huang、Ming Zhou。論文

グラフ

6 番目のカテゴリはグラフ学習と対照学習の組み合わせであり、4 つの研究で実装されています。

1. [GraphCL] 拡張によるグラフ対照学習。NIPS2020。

著者: Yuning You、Tianlong Chen、Yongduo Sui、Ting Chen、Zhangyang Wang、Yang Shen。論文

2. グラフ上の対照的なマルチビュー表現学習。ICML2020。

著者:Kaveh Hassani、Amir Hosein Khasahmadi。論文

3. [GCC] GCC: グラフニューラルネットワークの事前トレーニングのためのグラフコントラストコーディング。KDD2020。

著者:Jiezhong Qiu、Qibin Chen、Yuxiao Dong、Jing Zhang、Hongxia Yang、Ming Ding、Kuansan Wang、Jie Tang。論文

4. [InfoGraph] InfoGraph: 相互情報量最大化による教師なしおよび半教師ありグラフレベル表現学習。ICLR2020。

著者:Fan-Yun Sun、Jordan Hoffmann、Vikas Verma、Jian Tang。論文

7. 敵対的学習

7番目のカテゴリは敵対的トレーニング+対照学習であり、現在のところ論文は1つだけです。

1. 敵対的サンプルを使用した対照学習。NIPS2020。

著者:Chih-Hui Ho、Nuno Vasconcelos。論文

8. 推奨 8 番目のカテゴリは、クリックデータのスパース性を解決したり、モデルの堅牢性を高めたりするために、対照学習と組み合わせた推奨システムです。論文は 3 件あります。

1. セッションベースの推奨のための自己教師ありハイパーグラフ畳み込みネットワーク。AAAI2021。

著者:Xin Xia、Hongzhi Yin、Junliang Yu、Qinyong Wang、Lizhen Cui、Xiangliang Zhang。論文コード

2. ソーシャルレコメンデーションのための自己教師ありマルチチャネルハイパーグラフ畳み込みネットワーク。WWW2021。著者:Junliang Yu、Hongzhi Yin、Jundong Li、Qinyong Wang、Nguyen Quoc Viet Hung、Xiangliang Zhang。論文コード

3. 推奨のための自己教師ありグラフ学習。SIGIR2021。

著者: Jiancan Wu、Xiang Wang、Fuli Feng、Xiangnan He、Liang Chen、Jianxun Lian、Xing Xie。論文コード