なぜスパムメールがこんなに多いのでしょうか？ Redditの男が機械学習の残酷な現実を暴露

近年、AIのトレンドは高まるばかりで、毎年大規模な機械学習カンファレンスが盛んに開催されており、誰もがこの分野を探求したいという強い意欲に常に溢れているようです。

しかし最近、機械学習カンファレンスで発表されたさまざまな論文について疑問が投げかけられ、大きな注目を集めています。

最近、伝統的なエンジニアリング分野の人物が Reddit に投稿し、最近の機械学習の出版物に関する自身の観察を記録しました。

「最適化、制御、信号処理などの「古い」分野の交差点で研究している研究者がたくさんいて、突然、問題を解決したと主張する論文を大量に発表していることに気づきました。

問題自体は通常最近のものであり、ディープ ニューラル ネットワークが関係している場合もあります。

しかし、よく調べてみると、これらの論文の唯一の目新しい点は、研究者が問題に対処するために提案する方法ではなく、問題そのもの（多くの場合、無関係な他のグループによって提起される）である。

一見「弱い」論文が多数受け入れられる理由がわかりません。

そして、この男はこれらの論文が会議に受け入れられた秘密を発見した。

1. 機械学習カンファレンスにのみ投稿する

これらの研究グループは、機械学習のカンファレンスでのみ論文を発表します（研究グループの研究の中心となる可能性のある最適化や制御のカンファレンス/ジャーナルには論文を発表しません）。

たとえば、敵対的機械学習に関する論文では、論文全体は実際には最適化問題の解決に関するものですが、最適化アルゴリズムは基本的に、先人たちの他の優れた手法のわずかなバリエーションにすぎません。

さらに、論文が NeurIPS や ICLR を通過できなかった場合は、AAAI やその他の小規模な会議に直接送られ、そこで受理されるだろうとも述べました。

したがって、この分野では何も無駄になりません。

2. レビュー担当者は何が起こっているのか分からない

オープンレビューを通じて、査読者（研究者だけではない）は自分の専門分野について何も知らず、論文の新規性ではなく正確性についてのみコメントしているようだと分かりました。

実際、彼は査読者自身がこのアプローチの斬新さを認識しているかどうか疑問視している。

ここでの新規性とは、特にオペレーションズ・リサーチ、最適化、制御、信号処理と交差する場合に、技術の最新の開発がどれだけ新規であるかを指しますが、実際には、最先端の技術は主流の機械学習研究者の知識をはるかに超えている可能性があります。

3. 自由に引用する

多くの場合、研究者は自分自身の文献や過去数年間の「機械学習の専門家」の文献のみを引用します。

時折、数百年前のコーシー、ニュートン、フーリエ、クールノー、チューリング、フォン・ノイマンなどの引用があり、その後、数百年遡って 2018 年または 2019 年の話になります。

つまり、彼らはこう言っているのかもしれません。「この問題は 1930 年に「有名人」によって研究され、その後 2018 年に「ある男」によって何度も研究されました。」 ”

4. 数式の積み重ね

通常、固有値、勾配、ヤコビ行列、および研究している問題に関するその他の奇妙な事柄 (その他の難解な仮定の下で) に関する難解な条件を証明する数式が大量に存在します。

他にもいくつかの定理がありますが、高度に非凸な深層学習アプリケーションを実行するとすべてが違反されるため、どれも適用できません。

したがって、これらの複雑な定理と山積みの数式から得られるのは「かすかな直感」（これはすぐに破られる）だけであり、それ以外は何も得られません。

5. 「捨てられた技術」

この外国人は、ある技術が多くのベンチマークを上回っていると作者が主張した後、放棄され、二度と使われていないように見えることを発見しました。

機械学習の研究者はいろいろな分野を飛び回るのが好きなようですが、これはその一つなのかもしれません。

しかし、他の分野では通常、技術が開発されると、同じ研究者グループが何年もかけてそれを改良し、場合によっては研究者の全キャリアを費やすこともあります。

この男はこう言った。

「ある意味で、これは機械学習の特定の領域をエコーチェンバーのようなものにし、研究者たちはほとんど同じことを繰り返しているが、これは問題の新規性によって隠されている。」

これらの論文が受理されるのは、論文自体の真の新規性を誰も検出できない（または、3 人の査読者のうち 1 人だけが気づく）ためです。

機械学習カンファレンスが、自動論文収集のための金のなる木として扱われているように感じます。

一つの石が千の波紋を引き起こし、反響が次々に生まれます。公表するか、消滅するか？

この投稿は皆の共感を呼んだようです:

理論物理学者を自称するネットユーザーはこう答えた。

「これが、今日の理論物理学（および他のほとんどの「ハードサイエンス」）における学術研究の現実です。

「出版しなければ消滅する」という考え方は深く根付いています。正気な人なら、実際に困難で意味のある問題を解決しようとする人はいないでしょう。ここで魔法のような機能を微調整し、いくつかの方法を組み合わせて組み合わせるだけで、履歴書にたくさんの論文を載せることができます。

もう一つの側面は、レビュープロセスと使用される方法論の透明性の欠如です。たとえば、中途半端なコメント、学生に代わって記事にコメントするよう求めること、政治的な理由などです。

科学的な問題を実際に解決した論文を発表するのに数年かかった時代は終わりました。運はますます努力よりも重要な要素になりつつあります。

ピーター・ヒッグス（ヒッグス粒子の存在と粒子が質量を獲得するメカニズムを提唱してノーベル賞を受賞した）は、今日の基準では決して成功しないだろうと何度も述べている。

別のネットユーザーはかつてCNNを研究したことがある。彼はこう言った。

「私は CNN のアプリケーションに取り組んでいましたが、カンファレンスで受け入れられるためには数学を追加する必要があると言われました。

しかし、実際には、これらの方程式はまったく何もせず、何か新しいことを証明したり、追加の洞察を提供したりせず、単に行列の観点からディープラーニングを説明しているだけです。

私が読んだ他の論文では、非常に複雑な数式をよく目にしましたが、それを理解しようと 1 時間費やしても、実際にはほんの数行のテキストで説明できるほどでした。これは悲しいですね。

このため、私は最初とても落ち込んでしまい、自分は数学が得意になるはずがないと思っていました。

はい、私は数学が得意ではないかもしれませんが、これらの論文は数学に関するものではありません。

数式の応用に関しては、気候変動を研究している工学博士も次のように共感した。

「数学的な数式が多い」というのはよくあるテーマです。論文の見栄えを良くするために、理解しにくい数式はすべてギリシャ文字で書くようにと明確に指示されることがよくあります。

「出版しなければ滅びる」というのは、学術界の残酷な癌です。 「

一部のネットユーザーは、既存のモデルに対するさまざまな魔法の改造論文についても不満を述べている。

「また、わずかに優れた SOTA」のような、いくつかのパラメータ調整や DNN への追加レイヤー以外の新しい方法や側面を提案しておらず、読むのに非常に疲れる論文が、最終的に会議で受け入れられました。

積み重なった数式の存在は、厳密さと目新しさを感じさせ、実際のイノベーション能力の欠如を隠すためだけのものである。

もちろん、既存の方法を反復することは普通のことですが、機械学習の分野では、提案された方法がなぜ機能するのかを完全に理解せずに、わずかな改善を行っただけの論文が多く見られます。 「

結論

実際、毎年、多数の機械学習カンファレンスが大量の論文投稿を受け付けています。しかし、毎年発表される「学術的進歩」を記した何万もの論文の中に、本当の発見はいくつあるのでしょうか?