メタ学習はもう人気がない！ ICLR 2022 の投稿トレンド: 強化学習がトップ、ディープラーニングが2位

[[429122]]

最近、GitHub 上のプロジェクト ICLR2022-OpenReviewData が ICLR 2022 に提出されたすべての論文をクロールしました。

論文総数は3,407件です。分析の結果、投稿キーワード上位50位のうち、強化学習、ディープラーニング、グラフニューラルネットワークが上位3位にランクインしており、強化学習とディープラーニングへの投稿件数が他の研究分野をはるかに上回っていることがわかりました。例えば、対照学習と転移学習への投稿件数は、強化学習の4分の1以下です。

この傾向は、ワードクラウドの視覚化後でも明らかです。

タイトルのキーワードを分析すると、論文で使用されている単語の違いはフレーズほど大きくないことがわかります。研究者は表現という言葉を最も好んで使用しており、結局のところ、会議の名前は International Conference on Learning Representations (ICLR) です。

著者は、論文リストをクロールするためのコードをリポジトリで公開していますが、これは Windows プラットフォームでのみ実行されるはずです。

まず、データ クロールのためのブラウザーの動作を模倣する msedgedriver.exe プログラムをダウンロードする必要があります。 Microsoft Edge に加えて、Chromium ドライバーも使用できます。

データのクロールには約30分かかります。もちろん、実行したくない場合は、作者がクロールしたデータも提供しています。

このリポジトリは、ICLR2021-OpenReviewDataのデータ分析からインスピレーションを得ています。データの比較により、ICLR 2021のトップ2は依然としてディープラーニングと強化学習ですが、順位は変わっていることがわかります。3位と4位もグラフニューラルネットワークと表現学習で、順位も変わっています。 ICLR 2021で非常に人気があったメタラーニングは、1年後には人気が大幅に低下しました。

ICLR 2021の全論文の平均スコアは5.367です。ほとんどの論文は5〜6点の範囲に集中しています。3.8点未満または7点を超えるスコアを獲得するのは簡単ではありません。

著者は論文のスコアとキーワードの関係についても研究し、査読者の平均スコアとキーワードの頻度の間には強い関係があることを発見しました。より高いスコアを獲得する可能性を最大化するには、深層生成モデルや正規化フローなどのキーワードを使用できます。

コンピュータ サイエンス カンファレンスの大半は匿名のピア レビューを使用しており、OpenReview はピア レビュー プロセスのオープン性を促進するように設計されたプラットフォームを提供します。論文（メタ）コメント、反論、最終決定は一般に公開されます。

もちろん、OpenReview 方式では、著者が公に処罰されることを避けるために、より慎重に論文を提出するよう促すことになります。

上記の簡単な分析に加えて、OpenReview は研究者に研究のためのより大きなコーパスとして提供することもできます。研究者は OpenReview プラットフォームから 5,527 件の投稿と 16,853 件のコメントを収集しました。さらに、Google Scholar と arXiv.org の非査読バージョンからこれらの投稿の引用データも収集しました。

https://arxiv.org/abs/2103.05885

ICLR は 2013 年から OpenReview プラットフォームを二重盲検レビューに使用しています。各論文にレビューが割り当てられると、通常は 3 人の査読者が独立して論文を評価します。反論後、査読者は著者の返答や他の査読者のコメントにアクセスし、それに応じて査読を修正することができます。

その後、プログラム委員長は各論文のメタレビューを書き、3 件の匿名レビューに基づいて最終的な受理/却下の決定を下しました。各正式レビューには、主にレビュースコア (1 ～ 10 の整数)、レビュー担当者の信頼度レベル (1 ～ 5 の整数)、詳細なレビューコメントが含まれます。公式レビューとメタレビューは両方とも OpenReview プラットフォーム上で公開されており、OpenReview でレビューを公開することもできます。

2017 年以前に提出された資料が少なすぎたため、この論文では 2017 年以降のレビュー データをクロールしました。二重盲検レビュープロセスが採用されていますが、論文の最終決定後に拒否された著者の身元が公開されます。

提出論文数が大幅に増加したため、ICLR 2020 ではボランティア査読者をさらに採用しました。査読者の質が著しく低下している（査読者の 47% が関連分野で論文を発表していない）という苦情が寄せられています。 NIPS、CVPR、AAAI などの他の AI カンファレンスでも同様のパターンが見られます。多くの著者は、割り当てられた非専門家の査読者が著者の主な貢献を理解するのに十分な技術的背景を持っていないため、コメントが適切に評価されないことに不満を抱いています。

しかし、これらの非専門家がレビュープロセスに与える影響についての定量的な分析は行われていません。

ICLR 2017-2019 では、査読者は 1 から 10 までのレビュー スコア (整数) を付け、1 から 5 までの信頼レベル (整数) を選択するよう求められました。 ICLR 2020 の場合、査読者は {1,3,6,8} の評価スコアを付け、1 から 4 の間の実証的評価スコア (信頼スコアと同様) を選択する必要があります。 2018 ～ 2020 年については、信頼レベル 1 および 2 の再評価スコアは、信頼レベル 4 および 5 のレビュー スコアよりも高くなる可能性があります。

ICLR 2017 の傾向は、統計的に有意であるにはサンプル数が少なすぎるため不明瞭です。 2017年から2019年まで、信頼度が最も低いレビューの平均レビュースコアは5.675でしたが、信頼度が最も高いレビューの平均レビュースコアは4.954でした。2020年には、信頼度が最も低いレビューと最も高いレビューの数値はそれぞれ4.726と3.678でした。

調査結果によると、信頼性の低いレビュー担当者 (レベル 1 や 2 など) は自分の決定に自信がないため、より寛大になる傾向がありますが、信頼性の高いレビュー担当者 (レベル 4 や 5 など) は特定された弱点に自信があるため、より厳しく厳格になる傾向があります。

下のグラフの各ポイントは、特定の信頼度レベルを持つレビューのグループを表し、ポイントのサイズはグループ内のレビューの相対数を表し、2 つのポイント間の距離は 2 つのグループ間のレビュー スコアの差を表します。

研究者らは、各レビューの感情分析結果とレビュースコアの相関分析に基づいて、同じ側面感情の組み合わせを持つレビューをグループ化し、各グループの平均レビュースコアを計算しました。レビュー数が 3 件未満のグループは、サンプル数が少なすぎて統計的に有意ではないため、考慮しませんでした。

結果を視覚化すると、マクロの観点から見ると、レビュー スコアが高いほど、一般的に肯定的な側面が多くなることがわかります。これは予想どおりです。また、スコアが 6 を超えるレビューのほとんどには、新規性、動機、パフォーマンスの点で否定的なコメントはありませんが、関連する作業や実験に何らかの欠陥がある可能性があることも確認されています。論文に対して概ね肯定的な査読者は、論文をより完全なものにするために、関連する作業や実験を改善するための提案を行う場合があります。スピーチの質と実験は他の側面よりも頻繁に言及されているようで、表現された肯定的な感情はより均等に分布しています。これは、発言が意思決定において重要な役割を果たしていないことを意味します。

また、レビューのすべての側面が肯定的または否定的だったわけではないことも興味深い点です。論文があらゆる点で完璧であったり価値がなかったりすることはまずありません。査読者は論文に対してはより厳しく、質の低い論文に対してはより寛容になることもあります。

これらのデータを詳しく調べると、一般参加型の二重盲検ピアレビュープロセスの有効性、さらには論文がどのように書かれ、レビューされ、受け入れられるかを理解するのに役立つ興味深い発見がいくつか得られます。

人工知能に関する会議は、広く受け入れられている分野です。著者は、投稿内容に最も関連のある分野を選択するよう求められることがよくあります。領域長は研究領域における提出物について決定を下すことができます。地域によって応募数や承認率が異なる場合があります。プログラム委員長は会議の冒頭で各分野の応募数と採択率を発表することがあり、これによって各分野の人気度がある程度わかる場合があります。

しかし、地域による分類は粗いため、より具体的な情報を提供するより詳細な分類が必要です。 OpenReview はより詳細な投稿情報を提供するため、各投稿のタイトル、概要、キーワードを利用して、よりきめ細かいクラスタリング結果を提供し、各投稿クラスターの承認率統計を収集できます。

受け取ったトピックから、ディープラーニング研究の全体的な構造と研究トピック間の相関関係を観察できます。たとえば、左側のセクションの投稿は強化学習の分野に属します。

もう一つの独立した研究分野はグラフニューラルネットワーク (GNN) です。これは、グラフ構造に重点を置くことで他の分野と一線を画し、わずか 2 ～ 3 年で非常に人気が高まった有望な分野です。敵対的機械学習も新しい独立した研究分野です。

次の独立したトピックは、Generative Adversarial Networks (GAN) です。しかし、GAN は完全に独立しているわけではなく、NLP や CV が GAN と混在した投稿も数多く見つかります。いくつかの研究で転移学習が GAN に適用されていることから、転移学習は GAN に非常に近いこともわかっています。右側のセクションの投稿のほとんどはアプリケーション関連（視覚、オーディオ、NLP、生物学、化学、ロボット工学など）であり、特定のアプリケーション ドメインで DNN を改善するために多くの最適化が提案されているため、DNN 最適化手法が混在しています。

強化学習、GNN、GAN、NLP、コンピューター ビジョンが 50% 以上を占めており、これらはすべて今日のディープラーニング研究のホットなトピックです。

また、トピックによって承認率に大きな違いがあり、敵対的機械学習の分野に属するブラックボックス敵対的攻撃に提出されたクラスターの承認率が最も高くなっています (53.33%)。少数ショット学習トピックは、受け入れ率が最も低く (10.53%)、強化学習分野に属します。グラフニューラルネットワークの受け入れ率は26.67%、BERTの受け入れ率は27.27%、GANの受け入れ率は20.18%、強化学習の受け入れ率は31.58%でした。