天津大学の学部生の論文がCVPR 2022に選出され、ディープラーニングのロングテール分類で新たなSOTAを達成

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

学部生は科学研究でどのような成果を上げることができますか?

CVPR 2022 に最近収録された新しい論文では、ディープラーニングにおけるロングテール分布データの分類問題を解決するための新しいアプローチが提供され、最終的に新しい SOTA が達成されています。

著者は合計 5 名で、シンガポールの A*STAR の博士課程の学生と上級研究員が含まれています。

第一著者は天津大学の学部生である李氏です。

驚くべきことに、これはこの「若き才能」にとって初めてのトップカンファレンス論文ではありません。彼はこれ以前にも、データマイニング分野のトップカンファレンス（WWW 2022）で第一著者として優勝しています。

学部生が科学研究に取り組む勢いはすでにそれほど強いのでしょうか?

私は3年生の時に研究室に入り、4年生の時にトップ論文を2本発表しました。

李さんは天津大学の知能・コンピューティング学部出身で、今年の４年生です。

この CVPR の記事では、主に新しいアンサンブル学習戦略を使用して、ロングテール分類の問題を解決します。

ご存知のとおり、ロングテール分布とこのデータの分類は、ディープラーニングでは非常に一般的なアプリケーションです。

主な難しさは、サンプル サイズの極端な不均衡、特にテール サンプルの数が少ないことにあります。これにより、効果的なトレーニング結果を得ることが困難になります。

現在、アンサンブル学習ベースの方法は大きな可能性を示しており、SOTA パフォーマンスを達成しています。

しかし、このアプローチには 2 つの制限があります。

まず、障害の影響を受けやすいアプリケーションでの予測は通常は信頼性が低く、エラーが発生しやすいテール データに大きな影響を与えます。

第二に、すべてのサンプルに均一な量のリソース（エキスパート）を割り当てるため、単純なサンプルに対して冗長かつ過度に高い計算コストが発生します。

そのため、Liらは不確実性統合を導入することでテールカテゴリサンプルの自動認識を実現することを提案した。

これを基に、パフォーマンスと効率のバランスをとるために、ヘッド サンプルよりもテール カテゴリ サンプルに多くのモデル リソース(エキスパート)を動的に割り当てることが提案されています。

△ テスト段階では、ハーバード大学が提案したDS理論を使用して、共同不確実性を形成する。

最終的に、得られたモデルは、テールカテゴリサンプルの自動検出とトレーニング調整を実現し、ロングテール分類問題を解決するための一般的なモデルになります。

分類、テール検出、外れ値検出、障害予測などの一連のタスクに関する包括的な実験により、提案されたモデルのパフォーマンスが既存の SOTA 方法を上回ることが実証されています。

3年生の時、李さんは優秀な学業成績を評価され、学部の機械学習とデータマイニングの研究室に入学しました。

私の指導教官である張長青氏（天津大学の博士課程の指導者）の指導の下、わずか1年半の研究で、私は2つのトップカンファレンス論文の受賞を果たしました。

若者は恐ろしいと言える。

ますます多くの学部生が論文を発表し始めている

しかし、学部生の研究に関しては、誰もが注意を払う必要があります。多くの学校は、この点についてよりオープンになり、より関心を持つようになっています。

3年目以下では、研究室に入り、大学院生や博士課程の学生と一緒に科学研究を行うための枠がいくつか開かれます。

例えば、清華大学の「スパーククラス」は2年生を募集しており、北京大学も学生が2年生の早い段階から科学研究プロジェクトを開始することを奨励しており、中国科学技術大学などの学校も、対応する業績を上げた学部生に特別奨学金を提供しています。

こうした状況下、李さんのように学部在学中にトップレベルの会議で論文を発表し、栄光に包まれている学生はすでに多くいる。

例えば、清華大学特別賞受賞者であり、2016年度の学部生として有名な高天宇氏は、大学在学中の4年間で4つのトップカンファレンス（AAAI 2回、EMNLP 2回）で論文を発表しています。また、ライブ放送を主催して、科学研究の経験を共有しました。

たとえば、 MITの学部生であるMao Xiaoさんは、大学4年生の時にトップのコンピュータ理論カンファレンスFOCS 2021への出場権を獲得し、最優秀学生論文賞を受賞しました。

もう一つの例としては、清華大学電子工学部の学部生であるLiu Hongは、トップカンファレンスで第一著者として3本の論文を発表しています。北京大学の学部生であるWu Kewenは、トップカンファレンス（ACM Annual Conference on Theory of Computing STOC）で論文を発表しただけでなく、最優秀論文賞も受賞しています。中国電子科学技術大学の学部生であるWang Tanも、CVPR 2020で第一著者として論文を発表しています。浙江大学の学部生であるRen Yiも、ICML 2019で第一著者として論文を発表しています...

同様の例はたくさんあります。

学部生の科学研究能力はますます高まっていると言えます。どう思われますか?​