ML コミュニティにおける 8 つの主要な「癌」: 盲目的崇拝、相互批判、SOTA の重視と有効性の軽視...

諺にあるように、人がいるところには川や湖があり、さまざまな立場や利害の争いがあるものです。科学研究の分野でも同じことが言えます。機械学習コミュニティにおける人種的偏見に関する最近の白熱した議論は、その鮮明な例です。まず全体のストーリーを振り返ってみましょう。

約1週間前、デューク大学は、ぼやけた顔写真を鮮明な顔画像に変換するPULSE法を提案したが、予想外に、この研究で生成された画像が論争を巻き起こし、この方法は人種的偏見があるとして非難された。

輸出後、オバマは「白人」になった。

その後、チューリング賞受賞者でフェイスブックの主任AI科学者であるヤン・ルカン氏もこの件に関するコメントでネットユーザーから批判され、最終的にツイッターからの脱退を発表せざるを得なくなった。

そこで疑問なのは、この事件は機械学習コミュニティがテクノロジーやデータに対して明確な偏見を持っていることを反映しているかどうかです。また、機械学習コミュニティにおける慢性的な病気や新たな悪い現象とは何でしょうか。

今日、reddit ユーザーの yusuf-bengio が、現在の機械学習コミュニティにおける 8 つの主要な「癌」をまとめた投稿を投稿しました。この投稿では、査読、盲目的な学術崇拝、多様性、トップ カンファレンス論文の出版の過度な重視、学術攻撃が取り上げられ、ネットユーザーの間で白熱した議論が巻き起こりました。

まずはこれらの問題の具体的な内容を見てみましょう。

ML コミュニティにおける 8 つの主要な「癌」

まず、査読のルールが破られました。 NeurIPS 投稿の 4 分の 1 は arXiv に投稿されます。 DeepMindの研究者らは、ICLRに提出した論文を批判した査読者に公に質問した。最も重要なのは、arXiv でよく知られた機関から提出された論文が、査読者が論文を拒否すべきだと考えていたにもかかわらず、トップクラスの会議で受け入れられたことです。対照的に、AC は評価の高い論文をいくつか却下しました。

第二に、再発の危機があります。テスト セットでハイパーパラメータを調整することは、今日では標準的な方法のようです。現在の SOTA 記録を破らない論文は、より優れた学術会議に受け入れられる可能性はありません。そのため、多くの研究ではハイパーパラメータを調整し、パフォーマンスが向上しているように見せるための微妙なトリックを考案していますが、実際にはパフォーマンスが向上しているわけではありません。

第三に、盲目的な学問崇拝があります。スタンフォード大学やディープマインドなどのトップ機関に関連する論文は、大きな進歩がなくても高く評価されます。たとえば、BERT は ULMfit よりも 7 倍多く引用されています。 Google との提携により、この新聞の信頼性と露出度は大幅に高まりました。 ICMLカンファレンスでは、研究内容に関係なく、DeepMindのポスターが多くの人を魅了します。 Zoomで開催されたバーチャルカンファレンス「ICLR 2020」でも同じことが起こりました。

さらに、どちらもトップクラスの機械学習カンファレンスであるにもかかわらず、NeurIPS 2020 への論文投稿数は ICML の 2 倍です。なぜそうなるのでしょうか? 「ニューラル」という言葉がなぜこんなに人気があるのでしょうか? また、ベンジオ、ヒントン、ルカンは確かにディープラーニングの先駆者ですが、彼らを AI の「ゴッドファーザー」と呼ぶのはおかしいです。これは本当に過剰な崇拝です。

第四に、ヤン・ルカン氏の偏見と公平性についての話し方は少し的外れに思えるかもしれないが、彼が受けた批判は妥当な範囲を超えている。 LeCun 氏や他の誰かを黙らせても何も解決しない。

第五に、機械学習やコンピュータサイエンスのコミュニティ全般には深刻な「多様性」の問題があり、その最も顕著な問題は教授と学生の男女比です。女性が博士課程またはポスドク期間中に育児休暇を取る場合、それは多くの場合、彼女の学術的キャリアの終わりを意味します。さらに、この「多様性」の欠如はしばしば悪用され、一部の人々が批判を避けるための言い訳として使われます。学術的な議論におけるすべての否定的なコメントを人種や性別のせいにすることは、有害な学術的雰囲気を生み出します。この「多様性」の問題は、他人から「人種差別主義者」や「性差別主義者」と見なされることに対する人々の恐怖の高まりによってさらに悪化しています。

6番目は、他人が道徳的倫理を失ったと恣意的に決めつけることです。近年、米国における政治的、人種的抗議があらゆる学術的議論を支配している。

第 7 に、コミュニティには「公開するか悪臭を放つか」という残酷な考え方があります。 NeurIPSやICMLなどの学術会議で毎年論文を発表できないと、「負け犬」と呼ばれることになります。さらに、研究チームはますます大きくなり、PI が博士課程の学生全員の名前を覚えられないこともあります。研究者の中には、トップレベルの会議に論文を提出することに執着し、毎年数十本の論文を提出する人もいます。これはひどい。論文を書く唯一の目標は、トップレベルの会議で論文が受け入れられたという経験を履歴書に加えることになり、すべてが実利的なものになってしまった。論文を提出する際、品質は二の次であり、査読を通過することが主な目標になります。

8番目に、学術的な議論は失礼で無礼なものになってきました。例えば、シュミットフーバー氏はヒントン氏を「泥棒」と呼び、ゲブル氏はルカン氏を「白人至上主義者」と呼び、アナンドクマール氏はマーカス氏を「性差別主義者」と呼んだ。大手企業同士でさえも互いに攻撃し合っており、これは結局のところ、健全で調和のとれた機械学習環境の構築につながりません。

では、異なる意見を持つ人々を悪者扱いするのをやめ、異なる意見が存在することを認め、細かいことにこだわらないようにしてはいかがでしょうか。単に意見が違うという理由で彼らに黙るよう強制すれば、それはおそらく科学と社会の進歩の終わりを告げるものとなるでしょう。

MLコミュニティだけでなく、他の分野でも同様

上で述べた「癌」は確かに存在し、機械学習コミュニティの学術的な雰囲気に必然的に悪影響を及ぼします。ネットユーザーはこれらの問題に対してどのような態度を取っているのだろうか？ 3つ目の「盲目的な学問崇拝」という現象が最も多くの「いいね！」を獲得した。

ネットユーザーによると、無名の学者による興味深い研究は注目を集めるが、それについてコメントする人はほとんどいない。対照的に、機械学習の著名人のツイートには何百ものコメントが付くことがある。この現象は、新たな研究や技術の推進と持続的な開発に悪影響を及ぼす可能性があります。

一部のネットユーザーは、物理学コミュニティなど他のコミュニティについても言及し、そうしたコミュニティは機械学習コミュニティほど攻撃や分裂に満ちていないかもしれないと述べた。彼は、機械学習は確かに広範囲に社会的影響を及ぼすが、人々が自らの研究に政治的な考えを押し付けるのはばかげていると述べた。

しかし、このネットユーザーの見解は、物理学、数学、論理学、哲学などの他の分野でも同じことが当てはまるかもしれないと反論する人たちによって反論された。

これについてどう思いますか？

参考リンク:

https://www.reddit.com/r/MachineLearning/comments/hiv3vf/d_the_machine_learning_community_has_a_toxicity/

[この記事は51CTOコラム「Machine Heart」、WeChatパブリックアカウント「Machine Heart（id:almosthuman2014）」によるオリジナル翻訳です]

この著者の他の記事を読むにはここをクリックしてください