北京大学元培同窓生の論文がICML Test of Time賞を受賞、ヒントンの弟子が執筆、生成AIが今年の受賞理由として人気を集めた

ICML 2023 Test of Time Awards が発表されました!

今年も、昨年同様、受賞論文が 1 件、次点論文が 2 件あり、いずれも「過去 10 年間にわたり影響力を持ち続けている」ICML 2023 議事録から選ばれています。

このうち、受賞論文の第一著者はヒントン氏の弟子リチャード・ゼメル氏、第二著者のレデル・ウー氏は北京大学元培校の卒業生で、智源やMetaAIで勤務し、現在はCreatify AIの共同設立者となっている。

全体的に、今年の ICML Test of Time Award も時代の流れに沿ったものとなりました。

最優秀論文でも次点論文でも、ノミネート理由はすべて生成 AI に関連しています。論文の 1 つは、Dall E や Stable Diffusion などの最新の生成 AI の進歩にも影響を与えました。

では、今年受賞した論文は何でしょうか?

見てみましょう。

時の試練賞はヒントンの弟子に贈られる

今年の Test of Time Award の最終受賞論文は、「Learning Fair Representations」です。

この論文はトロント大学とマイクロソフトによるもので、Google Scholarで1,670回引用されており、中間表現を学習することでアルゴリズムの公平性を実現する分野における先駆的な研究と言えます。

本論文では、公平性を最適化問題として定式化し、グループの公平性と個人の公平性の両方を実現する公平な分類のための学習アルゴリズムを提案します。

論文受賞の理由は次のとおりです。

この論文は「機械学習と公平性」の分野で重要な役割を果たし、機械学習コミュニティにグループ公平性や個人公平性を含むさまざまな公平性の概念を紹介し、現在では機械学習の成熟したサブフィールドとなっています。

高度な機械学習システム（生成 AI と呼ばれることが多い）が社会に広く導入され、予期せぬ、潜在的に偏った、不公平な形で社会に影響を与えるようになるにつれて、この分野はますます重要になっています。この論文では、機械学習における公平性の分野が現在取り組んでいる中核的な研究課題についての見解と、開発されたツールの有効性を評価する方法について説明します。

この論文には合計 5 人の著者がいます。

リチャード・ゼメルはコロンビア大学の教授です。彼の研究は、AI の堅牢性、少数ショット学習、アルゴリズムの公平性、継続的な学習に焦点を当てています。彼の研究は Google Scholar で 64,780 回引用されています。

彼は1984年にハーバード大学で学士号を取得し、その後トロント大学のコンピュータサイエンス学部でジェフリー・ヒントン氏の指導の下で学び、1989年にコンピュータサイエンスの修士号、1994年に博士号を取得しました。

Ledell Wu の研究対象には、AI、大規模言語モデル、マルチモーダル学習などがあります。

彼女は北京大学元北学院で学士号を取得し、カナダのトロント大学でコンピューターサイエンスの修士号を取得しました。その後、Facebook AI（Meta AI）で研究開発エンジニアとして働き、北京智源人工知能研究所の技術プラットフォーム部門でオープンソースプラットフォームの責任者も務めました。

現在、彼女の最新のアイデンティティは、Creatify AI の共同創設者です。

Kevin Swersky は現在、Google Brain の研究科学者として機械学習に取り組んでいます。彼はカナダのアルバータ大学で学士号を取得し、ブリティッシュコロンビア大学で修士号を取得し、カナダのトロント大学で博士号を取得しました。

トニ・ピタッシはコロンビア大学の教授です。彼の現在の研究分野は計算複雑性です。彼女はペンシルベニア州立大学で学士号と修士号を取得し、教授を務めていたトロント大学で博士号を取得しました。

ハーバード大学教授であり、米国工学アカデミーの会員でもあるシンシア・ドワーク氏は、差分プライバシーとプルーフ・オブ・ワークの発明者の一人です。彼女の現在の研究対象は、応用数学とコンピューターサイエンスです。

彼女はプリンストン大学で学士号を取得し、コーネル大学で博士号を取得しました。その後マイクロソフトに勤務し、現在は同社の著名な科学者です。

しかし、この受賞論文を読んだ人の中には、論文の目的を達成するのは不可能と思われると述べる人もおり、一部の学者はすでに新しい論文でこの見解を提唱している。

これに対して、一部のネットユーザーは、これは機械学習界でも常識だと信じていました。研究者の一波は特定の目標を達成する方法を見つけ続け、別の一波の研究者はこれらの方法が不可能であることを証明し続けています。

紙の次点者はあと2人いる

今年は、2つの論文が準優秀賞も受賞しました。

論文の 1 つは「Deep Canonical Correlation Analysis」と呼ばれ、著者はワシントン大学とシカゴの豊田工業大学の研究者です。

この論文は 1,915 回引用されており、主に 2 つの影響を与えています。

まず、この論文では、ディープニューラルネットワークに基づくマルチモーダル表現学習の原理的な方法を提案します。この種のディープマルチモーダル学習は、DaLL·E や Stable Diffusion などの生成 AI のハイライトの 1 つとなっています。

第二に、この論文では、表現空間で同じ観測の複数のビューを関連付けることにより、観測の再構成に頼ることなく、教師なしの方法でデータの適切な表現を取得できることを示しています。これは、対照学習を含む再構成なしの自己教師あり表現学習の最近の多くのアルゴリズムにも影響を与えています。

もう 1 つの論文のタイトルは、「モデル検索の科学: ビジョン アーキテクチャの数百次元におけるハイパーパラメータの最適化」です。

現在までに2,310回引用されているこの論文は、ハーバード大学ローランド研究所とMITの著者らによって執筆された。

この論文では、ブラックボックス最適化と機械学習の理解と進歩を通じて、ハイパーパラメータの調整が、ヒューリスティックではなく体系的なアプローチで解決できる厳密な科学的および工学的問題であることを示しています。この論文では、数百のハイパーパラメータの自動チューニングを実験しており、これはアルゴリズムのハイパーパラメータ チューニングの最も説得力のある例の 1 つです。

これまで、ハイパーパラメータの調整は、機械学習の実践においてその重要性と大きな影響力にもかかわらず、科学というよりも「後付け」または芸術であると考えられていました。

ICML 2023 タイムテスト賞:
https://icml.cc/Conferences/2023/Test-of-Time