貢献も革新もアイデアもない、ML 分野の博士課程の候補者が助けを求めています。論文を革新的にするにはどうすればよいでしょうか?

[[420317]]

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

機械学習分野の論文執筆の日常業務:

△画像出典 Twitter: 人工知能を持つティーンのためのAIミーム

より優れた新しいアーキテクチャ、新しい損失関数、新しいオプティマイザー、またはアクティベーション関数を考案するのは素晴らしいアイデアです...

そして、実際に何が行われているのでしょうか?

既存のもの (アーキテクチャ、オプティマイザー、損失関数など) をデータセットに適用し、さまざまな組み合わせを試して、そのデータセットで最適なソリューションを見つけます。

これは、Reddit 上のある博士課程の学生が現在抱えている悩みです。

貢献も革新もアイデアもない、ML 分野の博士課程の候補者が助けを求めています。論文を革新的にするにはどうすればよいでしょうか?

彼は現在の仕事に満足しておらず、自分がどのような貢献をしたのかもわかっていない。

したがって、投稿のタイトルは非常に単純です。

機械学習の分野で論文を書くときに革新性を確保するにはどうすればよいでしょうか?

現実世界の問題とニッチな分野に焦点を当てる

この問題に関して、以下で議論しているネットユーザーは基本的に2つのカテゴリーに分かれています。

最初のグループは、意図的に「イノベーション」を追求するのではなく、まずは実用的な問題を解決しようとすべきだと考えています。

新しいアイデアは通常、これまで解決されていなかった問題を説明しようとするときに生まれます。

あるいは、この問題に対する解決策がすでに存在しているかもしれません (ただし、より良い解決策を見つけました)。

実際にそのような例は数多くあります。

たとえば、強化学習の分野ではゲームに焦点を当てた論文が多くあります。

この現象の原因の 1 つは、シミュレータを高速に実行するために、最初は誰もが低コストを使用していたことです。

しかし、徐々に、この伝統的な方法ではゲームに多くの問題が露呈しました。

たとえば、（強化学習）モデルは、正しいアクションを長いシーケンスで実行した後にのみ報酬信号を受け取ります。

このような実際のアプリケーションにおける困難は、「それをどのように解決するか」または「既存の方法をどのように改善するか」という問題に簡単に拡大することができます。

イノベーションはそこから生まれるのではないでしょうか?

2 番目のタイプのネットユーザーは、問題の根本から直接取り組み始めました。

ML の大きな分野で時間を無駄にするのをやめて、すぐにニッチな分野を選択してください。

ニッチ分野とは何ですか?

これは、大きな分野内の、まだ他の人によって占有されていない小さな専門分野を指し、サブフィールドとも呼ばれます。

このタイプのネットユーザーは、機械学習の分野で革新を起こしたいなら、何千人もの科学研究者と競争しなければならないと考えています。どうしてそれが簡単なのでしょうか?

したがって、いくつかの「古い」ブランチを試してみることをお勧めします。

たとえば、30年前に AI 分野で人気があった帰納的論理プログラミング (ILP) は次のようになります。

もちろん、このアプローチは、博士号を取得することが目標である場合に適しています。

結局、そうすると、引用数が何年も一桁のままになる可能性が高くなります...

最後に、Just Try の予約済みプログラムです。

最終的に失敗したとしても、関連する問題についてより深く理解したり、新しい考えを生み出したりすることができます。

同時に、選択したトピックが本当に価値があるかどうかを間接的に確認することもできます。

結局のところ、素晴らしいトピックの場合、失敗でさえも成功への足がかりになり得ます。

しかし、この失敗から何も新しいことを学べないのであれば、

逃げて別のアイデアを見つけたほうがいい。

永遠の問題：アイデア

実際、今日のスレッドの投稿者が「論文の革新性を確保する」と述べたことは、結局のところアイデアの問題です。

大多数の科学研究者にとって、これは永遠のテーマです。

例えば、2019 年には、「自分のアイデアが他の人によって公開されていることに気付いた場合はどうすればいいですか?」というディスカッション スレッドがありました。

（タイトルを聞くだけで悲しくなって泣けてくる）

衝突を避ける方法から、衝突後にどのように拡大・強化するか、個人の能力トレーニングや学習環境に至るまで、全員が長時間ブレインストーミングを行い、最終的にこう言いました。

やりくりし、克服し、適応する。

昨年、清華大学の Gao Tianyu 氏もライブ放送で自身のアイデアの源を共有しました。

学部在学中に AAAI 論文 2 本と EMNLP 論文 2 本を発表したこの専門家は、次のように述べています。

アイデアにはさまざまな形があります。シャツを発明するといった独創的な画期的な仕事のほか、シャツにボタンやフロントポケットを追加するといった順列、組み合わせ、移行、段階的な補足作業もあります。また、水やりはシャツの背面にポケットを縫うようなものです。

今年は、イギリスの教授が論文の書き方をみんなに教えるための論文を執筆しました。

著者は、モデリング前の準備方法、信頼性の高いモデルの構築方法、モデルを堅牢に評価する方法、モデルを公平に比較​​する方法、結果を報告する方法という 5 つの側面から、機械学習研究における落とし穴を回避する方法を包括的に説明しています。

それで最後に、論文の革新性を保証する（またはアイデアを見つける）ために、他にどのような方法があると思いますか?

清華大学特別賞受賞者の高天宇さん：

https://www.qbitai.com/2020/03/12309.html

優れた機械学習論文の書き方:

https://www.qbitai.com/2021/08/27616.html

自分のアイデアが他の人によって公開されていることに気付いた場合はどうすればいいでしょうか?

https://www.qbitai.com/2019/06/3337.html