ICML 2022の審査結果は「包囲」された、ヤン・ルカン：3つの論文を提出したが、3つとも却下された

ちょうど今、チューリング賞受賞者のヤン・ルカン氏がツイッターにメッセージを投稿した。「3本の論文を提出し、3本は却下されました...ツイートを数えると、ICMLは今年すべての論文を却下するべきでした。」

はい、ICML 2022 の査読結果は、ここ数日で著者に電子メールで送信されました。

今年のICMLには合計5,630件の投稿があり、そのうち1,117件が短編論文として採択され、118件が長編論文として採択されました。採択率は21.9%で、前年の採択率（21.5%）とほぼ同じでした。過去の経験に基づくと、論文が採択された著者の多くは、ソーシャル メディア プラットフォームで研究を公開します。しかし、今年は、不採用となった著者らが、例年よりも頻繁に、そして激しく発言しているようだ。「誇らしく発表します…今年の ICML での私の採択率は NaN (Not a Number) です。」

「ICMLの提出物はすべて拒否されました！」

「私の情報の流れから、ICML の拒否は確認できましたが、承認は確認できませんでした。」

「皆様、ICML 不採用の日おめでとうございます...」 苦情をすべて読んだ後、いくつかの疑問が頭に浮かぶ人もいます。ICML 2022 で受理される論文はあるのでしょうか?

ICML 2022の新しいレビューメカニズム

近年、主要な人工知能会議に提出される論文の数は大幅に増加しています。この大規模な会議の規模と厳しいスケジュールを考慮して、ICML プログラム委員会もいくつかの調整を行い、2 段階のレビューを導入しました。このメカニズムは、レビュー担当者のリソースをより適切に割り当て、高品質のレビューを提供することを本来の目的として、レビュー プロセスを 2 つの段階に分割します。一般的に、提出物に対しては、最初は 3 件のレビューではなく 2 件のレビューのみが割り当てられます。両方の査読で論文を拒否することに合意した場合、その論文はそれ以上の査読を受けません。レビューの第 2 段階では、残りの論文に 2 つの追加レビューを割り当てます。つまり、今回のICMLの審査意見には具体的なスコアは含まれなくなり、第1段階の審査後に、提出物が第2段階の審査に進むことができるかどうかを決定する最終結論が出ることになります。

寄稿者が受け取った電子メールの中で、ICML組織委員会は次のように述べました。

審査プロセスは 2 段階で構成されており、当社は決定プロセスを可能な限り公平かつ徹底したものにするよう努めています。これらの決定は、上級メタレビュアーとプログラム委員長によるレビュアー討論で審議され、複数のレベルでさまざまなチェックを受けます。困難な状況では、追加の評価も求められました。

しかし、このレビュー システムは多くの投稿者に認められていません。なぜなら、投稿者全員がさまざまな「魔法の」レビュー コメントを受け取っているからです。「よく書かれていて、理解しやすい。理論分析はしっかりしていて合理的で、興味深く明確な方法が提示されている...この論文は興味深い問題を解決している...しかし、受け入れられるには不十分だ。」

「私の論文のいくつかは受け入れられましたが、最も気に入った投稿は却下されました。なぜ著者は低品質のレビューにお金を払わなければならないのでしょうか。これはばかげています...」

「私は二度とICMLに提出しません」

ICMLのレビュー結果に関して、カリフォルニア大学バークレー校の馬毅教授も次々に力強いコメントを投稿した。

ICML のメタレビュー プロセスは非常にカジュアルです。反論では、査読者の要求どおりに行動しましたが、AC は原稿を却下し、「短期間で行われたこの新しい実験が正確に行われたかどうかはわかりません」と言いました。反論をまったく信用しないのであれば、なぜこのステップが必要なのでしょうか?

「レビュー担当者のスコアがなければ、ICML レビュー プロセスは AC によって操作されるブラック ボックスになります。少なくともディープ ネットワークは定量化可能な出力を持つブラック ボックスです。ICML レビュー プロセスは定量化可能な出力のないブラック ボックスになっています。このようなプログラムを容認するつもりはありません。」

「昨年の ICML での経験では、論文は 4 人の査読者全員に受け入れられたものの、最終的には AC によって具体的な証拠もなく却下されました。今年の経験と合わせて、今後は ICML に論文を提出しないつもりです。」

馬怡教授が言及した「昨年の経験」も白熱した議論を引き起こした。論文「ReduNet: レート削減最大化の原則に基づくホワイトボックスディープネットワーク」はICML2021の4人の査読者によって満場一致で受け入れられたが、ACは「この論文では現在のディープニューラルネットワークのすべてのトリックを説明することはできない」と考え、論文を却下することを決定した。その後、この論文はJMLRに受理されました。

当時、馬毅教授はICML組織委員会に対し、論文審査をオープンレビューに移管することを提案しており、これは多くの研究者の声でもある。

研究者の中には、それに比べて「透明性と責任感がある」ICLR 会議を好むと言う者もいる。

​​