「AI論文のオープンソースコードの義務化に反対する理由」

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

AI 論文ではコードをオープンソース化することを強制すべきでしょうか?

NeurIPS 2020 は最近、オープンソース ガイドを正式にリリースしました。 2019 年から、NeurIPS は紙のコードの提出を「強く推奨」していますが、まだ必須ではありません。

しかし、いずれにせよ、当局は、トップクラスの AI 学術会議におけるオープンソース コードの公開が業界のトレンドになっているというシグナルを発した。

NeurIPS の動きは、「将来の学術会議でオープンソースが求められる場合、貢献者は拒否すべきか？」という「若い」議論も巻き起こした。

予想外なのは、多くのネットユーザーが「オープンソースにしないのは正しい」と考えていることです。

反論1: コードはそれほど重要ではない

まず、オープンソースコードの目的は何でしょうか?これは他の研究者が結果を再現できるようにするためです。

論文に、その数式に基づいて他の人が独自のコードを書くことができるほど十分な詳細が含まれている場合、そのような論文のコードが公開される必要はありません。ただし、十分な詳細を提供することが前提条件となります。

例えば、Google の AlphaGo はオープンソースコードを持っていませんが、その正しさを疑う人はいません。実際、多くの人が Google の論文をもとに AlphaGo を再現しています。

さらに、著者自身のコードにはエラーが含まれている可能性があります。一般に公開しないことの利点の 1 つは、他の研究者が独自にエラーを再現できることです。

作成者がコード内にわかりにくい落とし穴を掘った場合でも、他の人はそれを回避し、落とし穴に陥ることを避けることができます。

また、コードの価値を過大評価しないでください。古典的な論文は何十年も人気を保ちますが、コードは 10 年後には実行が困難になる可能性があります。

もちろん、AIにとってデータセットの方が重要だという見方もあります。データのないコードは価値がなく、多くのデータセットは公開できないため、コードを入手しても SOTA の結果を再現することはできません。

反論2:著者について考える

ソースコードを公開しないのも、作者の特殊な事情を考慮するためです。

たとえば、純粋に理論的な研究に従事している研究者もいます。あるネットユーザーは、Docker コンテナの構築方法すら知らなかったと述べています。彼は多くの論文を発表し、GitHub でコードをオープンソース化していましたが、メンテナンスされることはありませんでした。

したがって、論文をオープンソースにするべきかどうかは、論文に対するコードの重要性に基づいて決定されるべきであり、画一的なアプローチであってはなりません。

営利企業の中には、論文執筆時に社内のプロプライエタリなソフトウェアライブラリを使用する研究者もいる。オープンソース化を強制すると、コードを一から書き直さなければならなくなり、時間と労力がかかり、こうした人々にとって不公平だ。

また、自分の研究をオープンソース化したくないが、一定期間結果を保護して、論文が出版されてから数か月後にコードをオープンソース化したいと考えている著者もいます。これは、医学や法律の分野で研究している学者にとって非常に重要です。

まとめると、反対派のネットユーザーは、オープンソースの強制は極端すぎると考えており、論文のオープンソースは強制されるのではなく奨励されるべきだと考えている。

オープンソースをサポートする: オープンソースなしでどうやって人々を説得できるでしょうか?

まず、石油業界で働くネットユーザーは、業界のデータはすべて企業秘密であるため、データやコードを一切公開せず、結果を隠すために記事にいくつかの数式を盛り込み、精度は98％であると主張した。どうすれば説得力のある結果が得られるのでしょうか?

データやコードを公開しないことは論文の重要な要素をすべて削除するようなものであり、そのような研究はたとえ出版されたとしても価値がないと彼は考えています。

オープンソースの義務化により、他の業界が機械学習に対して抱く偏見が変わると信じている人もいます。

他の分野の多くの人々は機械学習を疑似科学と見なしています。それはなぜでしょうか? AI分野における論文出版プロセスは非常に未熟だからです。

科学的方法の鍵となるのは一貫性と再現性です。誰もが単一の指標を追い求め、SOTA に執着していますが、これは大きな問題です。

オープンソースはこの問題を解決する一つの方法です。

昨年、著名な女性AI学者のアニマ・アナンドクマール氏は、自身の個人ブログで公に、コードを提供せずに論文を発表する慣行に強く反対し、論文提出時にはコードと同時に論文も公開するよう求めるよう学術会議に要請した。

彼女は、ソースコードを公開しないことは論文の審査や論文の改ざん者の責任追及に役立たず、さらには業界におけるオープンな競争にも役立たないと考えている。

公開されている学術論文もコードを公開すべきだと思いますか?