ICML2023の優秀論文数は6件に大幅に減少しました。北京大学と武漢理工大学の卒業生が賞を受賞しました。大きなモデルの透かしが好まれます。

ICML は、International Conference on Machine Learning の略です。国際機械学習学会 (IMLS) が主催する、コンピューター人工知能の分野におけるトップクラスのカンファレンスです。今年のICML会議は第40回目となり、2023年7月23日から29日まで米国ハワイコンベンションセンターで開催されます。

今年、ICML は合計 6,538 件の応募を受け取り、そのうち 1,827 件が採択され、採択率は約 27.9% でした。 2022年と比較すると、今年は投稿数、採択論文数、採択率が増加しました（投稿数5,630件、採択された短編論文1,117件、採択された長編論文118件、採択率21.9％）。

ICML 関係者は、各提出物が適切に評価されるように、各提出物は分野長と上級分野長によって審査されると述べました。

本日、ICML は優秀論文賞の受賞論文を正式に発表しました。

優秀論文賞6件

このセッションでは、学習率なし、LLM の透かし、未知の領域での一般化、不完全な情報によるゼロサムゲームの準最適戦略、MCMC および頻度順次学習のベイズ設計原理などのトピックを網羅した合計 6 件の優れた論文が選ばれました。

論文 1: D-適応による学習率フリー学習

• 機関: Meta AI、Inria Sierra
• 著者: アーロン・デファジオ、コンスタンチン・ミシュチェンコ (現在、サムスン人工知能センターの研究科学者)
• 論文アドレス: https://openreview.net/forum?id=GXZ6cT5cvY

この研究は、非滑らかなランダム凸最適化の学習率なしで最適な境界を得ることを目的としています。提案された方法は、このような問題を最適化する際の従来の学習率選択の限界を克服し、最適化の分野に貴重で実用的な貢献をします。

この研究では、大規模な CV および NLP 問題に使用される新しい手法の SGD および Adam のバリエーションも提案されました。

写真

論文 2: 大規模言語モデルのための透かし

• 機関: メリーランド大学
• 著者: John Kirchenbauer、Jonas Geiping、Yuxin Wen、Jonathan Katz、Ian Miers、Tom Goldstein
• 論文アドレス: https://openreview.net/forum?id=aX8ig9X2a7

論文の説明: この論文では、大規模な言語モデルの出力に透かしを入れる方法、つまり、生成されたテキストに、人間には見えないがアルゴリズムによって検出可能な信号を埋め込む方法を提案します。透かしを生成するために言語モデルを再トレーニングする必要はなく、透かしを検出するために API やパラメータにアクセスする必要もありません。

写真

この論文では、透かしを検出するために、解釈可能な p 値を使用した統計的テスト方法と、透かしの感度を分析するための情報理論的フレームワークも提案しています。この研究で提案された方法は単純かつ斬新であり、徹底した理論的分析と確かな実験を提供します。大規模言語モデル (LLM) を使用してテキストを検出および生成するという困難な課題を考えると、この研究は機械学習コミュニティに大きな影響を与える可能性があります。

論文3: 目に見えないものの一般化、論理的推論、学位カリキュラム

• 機関: EPFL、Apple
• 著者: エマニュエル・アッベ、サミー・ベンジオ、アリオ・ロトフィ、ケビン・リズク
• 論文アドレス: https://openreview.net/forum?id=3dqwXb1te4

論文の説明: この論文は、ブール関数の学習、特に困難な分布外一般化問題である Unseen (GOTU) の一般化において重要な進歩をもたらします。この論文では、このテーマを詳細に検討し、十分な理論的分析と広範な実験的サポートを備えた、よく構造化されたアプローチを提案しています。さらに、この論文では、ディープニューラルネットワークの分野における主要な研究の方向性についても概説しています。

具体的には、分布サポートの一部がトレーニング中にほとんどまたはまったく見られない場合のホールドアウトを使用した関数学習の問題を調査し、ブール目的関数を使用して、算術、決定木、論理回路などのさまざまな推論タスクの離散的特性と組み合わせ特性の両方を捉えます。

最後に、研究者らは長さの一般化問題について独自の説明を行い、サポートを増やすことで単項式をより効率的に学習する「Degree-Curriculum」と呼ばれるカリキュラム学習アルゴリズムを提案しました。アルゴリズムは次のとおりです。

論文4: ゼロサム不完全情報ゲームにおけるゲームツリーへの適応

• 機関: CREST、ENS Lyon、Omron Sinic X、Deepmind など。
• 著者: コーム・フィーゲル、ピエール・メナール、小角正、レミ・ムノス、ヴィアネイ・ペルシェ、ミハル・ヴァルコ
• 論文アドレス: https://openreview.net/forum?id=O1j4uFuSVW

論文の説明: この論文では、不完全な情報を持つゼロサムゲームのほぼ最適な戦略を紹介します。研究者らは新たな下限を確立し、バランス型 FTRL と適応型 FTRL という 2 つのアルゴリズムを提案しました。これらの貢献は、不完全情報ゲーム最適化の分野の発展を大きく促進しました。論文中の複数の実験はこれらの主張を裏付けており、研究結果を完全に裏付けています。

論文 5: 一般グラフ上の自己反発ランダムウォーク - 非線形マルコフ連鎖による最小サンプリング分散の達成

• 機関: IQVIA Inc、ノースカロライナ州立大学
• 著者: Vishwaraj Doshi、Jie Hu、Do Young Eun
• 論文アドレス: https://openreview.net/forum?id=450iImFM4U

論文の説明: この論文では、一連の困難な未解決問題を取り上げ、自己排他的ランダムウォークを備えたマルコフ連鎖モンテカルロ (MCMC) を提案します。ターゲット確率分布に対応する任意のマルコフ連鎖が与えられた場合、この自己反発ランダムウォーク (SRRW) は、過去に頻繁に訪問されたノードに遷移する可能性が低く、ほとんど訪問されていないノードに遷移する可能性が高くなります。

このアプローチは、従来のバックトラッキングのない方法を超えており、MCMC サンプリングにおける新しい研究方向への道を開きます。研究者らは MCMC 研究に独創的で重要な貢献を果たしており、さらに重要なことに、このプロセスは厳密に分析され、証明することができます。結果も非常に包括的かつ説得力があります。

写真

この論文の著者の一人である Jie Hu 氏は、現在ノースカロライナ州立大学の博士課程に在籍しています。同氏は、武漢理工大学で学士号を取得し、米国のノースウェスタン大学で修士号を取得しました。

論文 6: 頻度主義的逐次学習のためのベイズ設計原則

• 機関: コロンビア大学
• 著者: Yunbei Xu、Assaf Zeevi
• 論文アドレス: https://openreview.net/forum?id=tRhQsHnoFw

論文の説明: この論文では、バンディットやその他の順次意思決定戦略の設計に関する非常に一般的な問題を検討します。この論文では、アルゴリズム情報比と呼ばれる新しい量を使用して任意の戦略の後悔を制約する方法を提案し、この制約を最適化する方法を導出します。この制約は、以前の同様の情報理論的量よりも厳しく、これらの方法は確率的および敵対的バンディット設定の両方で良好なパフォーマンスを発揮し、グローバル最適性を実現します。

特に興味深いのは、よく知られているトンプソン サンプリングとバンディットの UCB に加えて、この論文によってまったく新しい探索・活用戦略への扉が開かれる可能性があることです。実際、この原理は強化学習の分野に拡張すれば非常に有望です。この論文は専門家の査読者から満場一致で強力な支持を得た。

論文の筆頭著者であるユンベイ・シュー氏はコロンビア大学ビジネススクールで博士号を取得し、現在はMITでポスドク研究員を務めている。同氏は2024年秋からNUSで助教授として働き始める予定だ。彼は北京大学数学科を卒業した。