素人の私でも、機械学習コミュニティのこれらの問題が分かります

「分野が違えば意味も違う」とよく言われます。機械学習コミュニティは部外者から見るとどのように見えるのでしょうか?

最近、伝統的な業界の専門家が機械学習研究コミュニティの現状を観察し、いくつかの問題を発見してredditに投稿しました。多くの機械学習の専門家も意見を述べ、議論に参加しました。

この記事の著者は、機械学習コミュニティには、最適化、制御、信号処理などの「古い分野」で学際的な研究に取り組んでいる研究者が多数いることに気づきました。彼らは突然、特定の問題を解決したと主張する大量の論文を発表します。問題自体は通常最近のものであり、使用される方法にはディープ ニューラル ネットワークが含まれます。

しかし、詳しく調べてみると、これらの研究で新しいのは、研究者がそれを解決するために使用した解決策ではなく、提起した疑問だけである。

彼を困惑させたのは、質が平凡で、基本的には 1980 年代、あるいは 1960 年代以降のさまざまな分野の技術を再配置しただけの論文が多数受け入れられたのはなぜか、ということだった。慎重な調査の結果、著者らは機械学習コミュニティにいくつかの問題があることを発見しました。

機械学習のみが歓迎される

多くの研究者は、機械学習のカンファレンスでのみ論文を発表し、自分の研究に特化したカンファレンスやジャーナル（最適化や制御のジャーナルなど）には論文を発表していません。たとえば、敵対的機械学習の論文では、論文全体が最適化問題の解決に関する内容がほとんどですが、提案されている最適化手法は、基本的に他の成熟した研究結果のバリエーションです。著者はまた、論文が NeurIPS または ICLR に受理されなかった場合、AAAI または他のそれほど権威のない会議に移されるが、これはまったく無駄では​​ないと指摘した。

[[388405]]

これは実際にはカンファレンスの評判に関係しているとコメントした人もいます。「NeurIPS などのトップクラスの機械学習カンファレンスで発表された研究は、他のカンファレンスの 10 倍の利益を生み出す可能性があります。ただし、コンピューター ビジョンの CVPR や自然言語処理の ACL など、一部のサブフィールド カンファレンスも非常に重要です。」

査読者は分野の研究の進歩を理解していない

オープンレビューを通じて、レビュー担当者（研究者だけではない）は特定の分野に関する知識を持っていないことがわかりました。彼らはその論文を新規性ではなく正確性について審査しているようだった。実際、レビュー担当者がこのアプローチの斬新さを理解しているかどうかは疑問です。

コメント欄には、この問題も存在するが、解決は難しそうだ、というネットユーザーもいた。機械学習の分野は爆発的な成長を遂げているため、すべてのレビュー担当者がこの分野の発展のペースに追いつけるわけではなく、知識や情報が遅れているレビュー担当者もいます。

参照の混乱

多くの場合、ML 分野の研究者は、過去数年間の自分自身の研究や他の機械学習実践者の研究のみを引用します。時には何百年も前の研究への言及がありますが、それはニュートンやコーシーなどの古典的な研究に関連しているからかもしれません。すると、引用された研究の年が突然 2018 年または 2019 年にジャンプします。

この問題は主に追跡の難しさによって発生したと指摘する人もいました。長年にわたる発展の結果、多くの名詞や用語の名前は数十年前のものと一致しなくなっています。現在、機械学習コミュニティにおける論文の引用は主に Google 検索から行われており、一部の用語の元のソースを見つけるのは簡単ではありません。

数式の積み重ね

固有値、勾配、ヤコビ行列などの数学の問題に対する深遠な条件を証明するなど、論文の中で数式が積み重なり、巨大な「数学の壁」を形成してしまうケースがよくあります。いくつかの定理は、その前提が高度に非凸な深層学習アプリケーションでは満たされないため、実際には適用できません。したがって、これらの複雑な数学の定理から得られる唯一のものは、すぐに覆される可能性のある弱い直感です。

一部のネットユーザーは、「数学の壁」が非常にイライラすると指摘した。数式を含む論文の方が受理されやすいため、多くの論文には数式が含まれていますが、数式が不要な場合もあります。

なぜこのようなことが起こるのでしょうか?専門知識の少ない査読者は、アイデアが気に入らないという理由で、理解できないアイデアを拒否する可能性があると推測する人もいます。しかし、「数学の壁」を見た後、彼/彼女は「弱い承認」や「弱い拒否」などのより厳格なレビュー結果を与えるかもしれません。

追跡調査の不足

また著者らは、一部の研究者は、他の研究を上回る新しいベンチマークを提案した後、その研究で提案された技術的方法をさらに発展させるための追跡研究を行わないことも発見した。しかし、他の分野では、研究チームの一部のメンバーがその後、研究で提案された方法を完成させるために多大な時間と労力を費やし、一部の研究は研究者のキャリアを通じて継続されることもあります。

上述の問題により、機械学習コミュニティはある程度「エコーチャンバー」となり、研究者は多数の既知の研究結果を単純に再編成し、問題の新規性を利用してイノベーションの欠如を隠蔽しています。しかし、これらの論文が受け入れられるのは、その研究に新規性が欠けていると考える人がほとんどいないからです。

要約すると、伝統的な業界出身の著者は最終的にこう述べています。「機械学習コミュニティは、論文を自動的に受け入れるドル箱のようなものだ。」

話し合う

コメント欄では、新たな意見や見解もいくつか発見されました。

物理学分野の研究者は、「理論物理学などのハードサイエンスにも同様の問題がある。『出版しなければ消滅する』という考え方はあまりにも根深いため、現実的で意味のある問題を合理的に解決しようとする人はいない」と語った。

理論物理学者はまた、研究の方向性が偏っているだけでなく、論文発表のサイクルも短くなり、研究の質が低下していると指摘した。論文の発表数が評価基準となり、科学的な問題の解決に全力を尽くす研究者は少なくなっています。

さらに、「一部の ML 研究者はパフォーマンス向上の根本的な理由を理解していないようで、単純な改善を行っただけだ」と言う人もいました。これもまたイライラさせられることです。

これらの問題は、元の投稿者と一部の機械学習実践者の見解のみを表したものですが、依然として機械学習コミュニティの縮図であり、解決および改善が必要です。