Reddit で高く評価：機械学習分野における「8つの大罪」！査読は変化し、偶像崇拝が蔓延している

最近、Reddit コミュニティで機械学習の分野を批判する記事が白熱した議論を巻き起こし、3.1k 件のいいねを獲得しました。著者は機械学習の分野における「8つの罪」を列挙し、研究者が機械学習の全体的な環境について新たな考えを持てるようにしています。

機械学習の分野に参入することを選択する研究者が増えています。

研究者がこの分野に参入した当初の意図は「素晴らしい」ものでした。彼らは機械学習が人々の生活を真に改善できると信じていました。そのため、機械学習に関連するトップカンファレンスへの投稿数は毎年ほぼ指数関数的に増加しており、これらの新しい科学研究成果は確かにより良い未来をもたらすと思われます。

しかし、Redditコミュニティの著者は「機械学習コミュニティには毒性の問題がある」と述べた。

彼は機械学習分野における「8つの罪」を列挙し、研究者が現在の機械学習環境を再考できるようにしました。この投稿はRedditで3.1k件のいいねを獲得しました。

機械学習の8つの大罪

罪 1: ピアレビューのプロセスが壊れている。

NeurIPS カンファレンスで採択された論文の 4 分の 1 が arXiv に掲載されます。 DeepMind の研究者の中には、ICLR への投稿を批判した査読者を公に追及した者もいる。査読者はこれらの著名な機関からの arXiv 論文を拒否しましたが、最終的にはいくつかのトップレベルの会議で受け入れられました。

2番目の罪：成果の複製が危機を引き起こした。

テスト セットでハイパーパラメータを調整することは、今日では標準的な方法のようです。しかし、トリックを使用してハイパーパラメータを調整したとしても、実際にパフォーマンスが向上するかどうかは不明です。

三つの大罪：偶像崇拝の問題。

スタンフォード、Google、DeepMind に関連するすべての論文が好評を得ており、BERT は ULMfit よりも 7 倍多く引用されています。 ICML カンファレンスでは、DeepMind のポスターが他のポスターよりもはるかに魅力的でした。また、NeurIPS と ICML はどちらもトップクラスの ML カンファレンスですが、前者には後者の 2 倍の投稿数があります。これはおそらく「ニューラル」という言葉のせいでしょうか。

四つの大罪：攻撃性と好戦性。

数日前、ヤン・ルカン氏が偏見と公平性について語ったときの口調は率直なものだったが、彼を攻撃した人々の口調は悪意に満ちており、あまりにも多くの人が彼を攻撃することを選択、事件そのものを無視した。ルカン氏をツイッターから追い出すことで実際に問題は解決しなかったことに人々は気づいていないかもしれない。

五つの大罪：性差別と人種差別から逃れる。

他のコンピュータサイエンスの分野と同様に、機械学習にも多様性の問題があります。確かに、私たちのコンピューターサイエンス学科では、学部生の 30% と教授の 15% だけが女性です。博士課程またはポスドク課程中に育児休暇を取ることは、通常、学術的キャリアの終わりを意味します。この分野の研究者は人種差別や性差別を避けることでそれに対する恐怖を隠そうとしますが、これでは問題がさらに深刻化するだけです。

六つの大罪: 道徳と倫理は恣意的なものである。

米国の国内政治は、学界を含むあらゆる議論を支配している。コンピュータービジョンアルゴリズムのデータセットには、人口10億人を超えるアフリカ人がほとんど含まれていませんが、誰も気にしません。研究の最後には誰もが「より広範囲にわたる影響がある」と言うでしょうが、そのような影響は多くの場合、特定の集団に限定されます。

七つの大罪：機械紙出版。

研究は出版のために行われ、論文を書く唯一の目的は履歴書に一行追加することになりました。紙の質は？それは二次的なことであり、主なポイントはピアレビューに合格することです。研究グループのメンバーが非常に多いため、指導教員が博士課程の学生全員の名前を把握していないこともあり、毎年50本以上の論文をNeurIPSに提出することが一部の研究者にとっては当たり前のこととなっている。

8つの大罪: 議論の中には言語文明は存在しない。

シュミットフーバー氏はヒントン氏を泥棒と呼び、ゲブル氏はルカン氏を白人至上主義者と呼び、アナンドクマール氏はマーカス氏を性差別主義者と呼んだ。研究者が攻撃され、「侮辱的」とレッテルを貼られるのは簡単ですが、これは研究そのものとは関係ありません。

「八つの大罪」が論争を巻き起こし、ネットユーザーは機械学習を「反駁」

「盲目的崇拝は確かに存在しますが、Google/DeepMindの論文がより多くの注目を集めた理由について、私は別の仮説を提案したいと思います。それは信頼です。」

毎日大量の新しい論文が出版されるため、すべてを読むことは不可能です。著者によるフィルタリングは私がよく使う方法であり、偏りはあるものの効果的です。 DeepMind の研究者が他の誰よりも才能があるというわけではありませんが、彼らはより多くのリスクを負います。

DeepMind が発表する論文は、概ね妥当性があります。論文が骨抜きにされたり、再現できなかったりすると、会社全体に悪影響を及ぼします。そのため、これらの組織が発表する論文は、より厳格な「品質管理」プロセスと社内査読を経てから発表される可能性が高いです。

私自身も、arXiv に投稿された新しい記事の「タイトル」を定期的に読んでいるので、この点については罪を犯しています。

何か興味深いものを見つけたら、まず著者を見て、DeepMind/Google/OpenAI などであればさらに詳しく調べます。聞いたことのない人々のグループであれば、そのまま先へ進みます。なぜ？後者のグループの著者は「でっち上げる」可能性が高く、DeepMind の論文と同じ内部品質管理を受けていないため間違いに気付かれず、私が間違ったメッセージを受け取る可能性が高くなると思われるからです。これは、DeepMind に対する私の賞賛とは何の関係もありません。ただ、彼らの仕事の仕方が、私をより信頼させるというだけです。

これは間違っていますか？確かに偏りはあるかもしれないし、内容自体にもっと注意を払うべきなのかもしれないが、論文が多すぎて誰も時間を無駄にしたくないということもある。

この怠惰な行動を否定する人もいます。 「著者を見なくても、たくさんの論文を素早く読むことができます。」まあ、あなたは本当に一目で 10 行を読む能力を持っています。

3番目の罪については、一部のネットユーザーもGoogleを擁護しました。BERTは言語モデルを非常に使いやすくし、他の研究者に道を開きました。本当にもっと注目されるに値します。ULMfitの引用数がBERTより少ないのは当然です。

ネットユーザーの @dataism と数人の友人も、機械学習の分野における現在の論文に存在するいくつかの顕著な問題について特に議論するために論文を書きました。

機械学習、特にディープラーニングの最近の進歩により、画像内の物体検出や音声認識から難しい戦略ゲームのプレイまで、いくつかの複雑なタスクで従来のアルゴリズムや人間を超える手法が導入されました。しかし、現実世界における多くのアルゴリズムとその応用は、HARKing（結果がわかった後に仮説を提案すること）のサイクルの中に存在しているようです。

この記事では、この現象のアルゴリズム的、経済的、社会的原因と結果について詳しく説明します。この記事には、否定的な結果を非表示にする、一般化能力について言及しないなど、いくつかの一般的な操作がリストされています。興味のある学生は、論文が却下されるリスクを減らすために、この記事を注意深く読むことができます (私はこれらの水まきテクニックを推奨しているわけではありません)。

もう一つのホットな話題は、著者の所属する学校に基づく差別です。これは学術界、特に CS/ML では一般的です。

ハーバード大学やスタンフォード大学であれば、論文が受理される可能性がずっと高くなります。これらの名門校への入学は、本質的に富と評判に基づいて偏っています。拒否する理由はいくらでも見つかりますが、データは嘘をつきません。

あなたの両親がスタンフォード大学に通っていた場合、あなたが入学できる可能性は他の人の 3 倍高くなります。ハーバードも例外ではありません。

親の収入が上位1%に入る学生は15.4%を占める。

「多様性と包摂」というスローガンは、貧しい家庭や機械学習の分野で高度な教育を受けていない人々をほぼ完全に取り残してきました。学問の世界では、下層階級の学生が不合格になる割合はおそらくさらに異常なほどです。