論文をレビューするための新しい Python プログラム。手動レビューをなくし、arXiv 論文のスコアを自動的に付けます。

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

何？ピアレビューは AI プログラムに置き換えられるでしょうか?

ちょうど4月1日、英国オックスフォード大学は最新のレビュー標準アルゴリズムState-Of-the-Art Review（ SOAR）を提案し、そのPythonプログラムコードをオープンソース化しました。

SOAR は、複数のターゲット、大規模な分散、非常に高いレイテンシといった従来のピアレビューの欠陥を最適化します。

現行の査読制度を覆すこの論文は、「国際AIトップカンファレンス」 SIGBOVIK 2020に収録されました。

SIGBOVIK は毎年 4 月 1 日に開催される学術会議です。議題は 1 日だけですが、採択された論文はすべて世界のトップ大学やテクノロジー大手によるトップクラスの研究です。

今年のカンファレンスで発表された SOAR インテリジェント システムは、間違いなく手動レビュー メカニズムを歴史のゴミ箱に一掃するでしょう。

依然として論文の手動レビューに依存している他の A​​I 企業は恐怖に震えるだろう。しかし、会議の審査員たちは、もう困難で利益のない仕事をする必要がなくなったので、非常に満足していました。

新しいエッセイ採点システム

現在のピアレビューシステムは拡張性がなく、実行速度が遅く、一貫性のない結果を生成します。その中で、査読者の査読スピードの遅さが主な問題であり、博士課程学生数の急増も無視できない。

博士号の授与数は 1990 年から 2010 年にかけて飛躍的に増加しましたが、Google 検索でインデックスされる論文の数は過去数年間ほぼ横ばいで推移しており、軸を回転させても上昇傾向を維持することはできません。

上記の証拠は、博士課程の学生の生産性が以前よりも低下しているか、既存の査読システムが増加する論文数を査読するのに十分な能力を提供していないことを示唆しています。

明らかに後者です。

そこで、オックスフォード大学の研究者たちはSOARプログラムを提案しました。 SOAR には 2 つの重要なパラメータが含まれています。

1. 記事内の SOTA 単語の数を数えます。数値が高いほど、信頼性が高くなります。

2. 別の方法としては、記事の新規性を判断し、記事内で新規性という単語が何回出現するかを数えることです。

次に、SOAR の計算式を取得します。

SOAR スコアを計算するコードも非常にシンプルです。Python 3.7.2 の collections.Counter オブジェクトを渡すことで、SOAR アルゴリズムを実装できます。

さらに、アルゴリズムの実装コストは非常に低く、コンピューターがなくても、大学院生に鉛筆でマークして SOAR を手動で計算してもらうこともできます。

しかし、2 番目のアルゴリズムの難しさは、大学院生の忍耐力を向上させ、時間をより有効に活用するよう説得する必要があることであり、これは実験的に検証されていません。

arXiv の Web サイトは、私たちが論文を読むためによく訪れるサイトです。

「SOAR 人間計算機」をお持ちでない場合、オックスフォード大学の研究者らは、査読を受けていない論文にスコアを付けることができる arXiv 用の SOAR プラグインも開発しており、科学研究者のスクリーニング時間を節約できます。

プラグインの実際の効果は次のとおりです。

トップカンファレンスSIGBOVIKは本当に「トップ」

SIGBOVIKは2007年から開催されています。当初はCMUの上級コンピュータ科学者であるHarry Q. Bovik氏が主導し、 Computer Heretics Societyが主催しました。今年で14回目となります。

SIGBOVIK は、非常に多様な研究内容を持つトップレベルのコンピュータ学術会議です。

過去に SIGBOVIK で議論されたトピックには、無能なエキスパート システム、深宇宙航行、混乱理論、大規模マルチプレイヤー オンライン ゲーム、後悔最小アルゴリズム、独立コンパイル、人工知能、自然知能などがあります。

今年のカンファレンスは紆余曲折がありました。当初の提出期限は 3 月 1 日でしたが、3 月 27 日まで何度も延期されました。会議は4月1日に開催されました。

このような高いレビュー効率を見ると、今年の会議レビューに SOAR システムが使用されたのではないかと疑問に思う人もいるでしょう。

SIGBOVIK カンファレンスは今年、CMU などの名門大学や Google、Yandex などの有名テクノロジー企業からの論文を含む 11 件の論文のみを受け入れました。

科学研究者の大多数は、SOAR システムのサポートにより、SIGBOVIK が ICLR や CVPR を上回るトップクラスの会議になると信じています。

上記の内容は純粋に娯楽です。

論文の宛先:

https://arxiv.org/abs/2003.14415

SIGBOVIK カンファレンスのホームページ:

翻訳元

会議全体のビデオ録画:

https://www.youtube.com/watch?v=ClfBtwoHPeg