国内トップクラスのAIカンファレンスCPALに採択された論文の成果を公開！合計30件の口頭発表と60件のスポットライト記事

今年5月に発表され、国内の有力者である馬怡氏と沈向陽氏が主導する、まったく新しい初のAI学術会議CPALを覚えている方もいるだろう。

ここで、CPAL が何であるかを、長い間忘れてしまった読者のために紹介します。

CPAL（Conference on Parsimony and Learning）は、年に一度開催されるシンプルな学術会議です。

第1回CPALは、2024年1月3日から6日まで香港大学データサイエンス研究所で開催されます。

会議アドレス: https://cpal.cc

名前が示すように、この毎年開催される研究ベースの学術会議は、シンプルさに重点を置いています。

最初の会議には 2 つのトラックがあり、1 つは議事録トラック (アーカイブ済み)、もう 1 つは「最新のハイライト」トラック (アーカイブされていない) です。

写真

具体的なタイムラインを確認してみましょう。

写真

ご覧のとおり、Proceedings トラックへの論文提出期限から 3 か月以上が経過し、「Latest Highlights」トラックへの論文提出期限からも 1 か月以上が経過しています。

11月末に、会議は2つのトラックの最終レビュー結果を発表しました。

最終採用結果

馬怡教授はツイッターでも最終結果を発表し、講演者9名、Rising Star Award受賞者16名、論文総数30件（Proceedingsトラック）、および「最新ハイライト」トラックの論文60件となった。

馬教授のツイートには各パートのURLリンクも記載されており、クリックすると該当ページに飛ぶことができます。

写真

口頭発表30件

1. 少ないほど良い – 構造化されたスパース性を用いた簡素なマルチタスクモデルに向けて

著者: Richa Upadhyay、Ronald Phlypo、Rajkumar Saini、Marcus Liwicki

キーワード: マルチタスク学習、構造化スパース性、グループスパース性、パラメータプルーニング、セマンティックセグメンテーション、深度推定、表面法線推定

TL;DR: 動的グループのスパース性を活用して、マルチタスク設定で簡潔なモデルを開発する方法を提案します。

写真

2. 畳み込みスパースコーディングによる閉ループ転写

著者: Xili Dai、Ke Chen、Shengbang Tong、Jingyuan Zhang、Xingjian Gao、Mingyang Li、Druv Pai、Yuexiang Zhai、Xiaojun Yuan、Heung-Yeung Shum、Lionel Ni、Yi Ma

キーワード: 畳み込みスパース符号化、逆問題、閉ループ転写

写真

3. スパース入力とスパースモデルの活用: リソースが限られた環境での効率的な分散学習

著者: エマヌイル・カリオタキス、グリゴリオス・ツァグカタキス、パナギオティス・ツァカリデス、アナスタシオス・キリリディス

キーワード: スパースニューラルネットワークトレーニング、効率的なトレーニング

TL;DR: 入力層と中間層のスパース性を活用して、リソースが限られたワーカーが分散方式でニューラル ネットワークをトレーニングおよび実行するシステムを設計および研究します。

写真

4. 言語モデルを整理する方法: 「Sparsity May Cry」ベンチマークでの精度の回復

著者: Eldar Kurtic、Torsten Hoefler、Dan Alistarh

キーワード: 剪定、ディープラーニング、ベンチマーク

TL;DR: 言語モデルをプルーニングするための一連のガイドラインを提供し、それを困難な Sparsity May Cry ベンチマークに適用して精度を回復します。

写真

5. 画像品質評価: モデル中心とデータ中心のアプローチの統合

著者: Peibei Cao、Dingquan Li、Kede Ma

キーワード: 学習ベースの IQA、モデル中心の IQA、データ中心の IQA、サンプリングの価値。

写真

6. Jaxpruner: スパース性研究のための簡潔なライブラリ

著者: Joo Hyung Lee、Wonpyo Park、Nicole Elyse Mitchell、Jonathan Pilault、Johan Samir Obando Ceron、Han-Byul Kim、Namhoon Lee、Elias Frantar、Yun Long、Amir Yazdanbakhsh、Woohyun Han、Shivani Agrawal、Suvinay Subramanian、Xin Wang、Sheng-Chun Kao、Xingyao Zhang、Trevor Gale、Aart JC Bik、Milen Ferev、Zhonglin Han、Hong-Seok Kim、Yann Dauphin、Gintare Karolina Dziugaite、Pablo Samuel Castro、Utku Evci

キーワード: jax、スパース性、剪定、量子化、スパーストレーニング、効率、ライブラリ、ソフトウェア

TL;DR: この投稿では、機械学習研究のためのオープンソースの JAX ベースのプルーニングおよびスパース トレーニング ライブラリである JaxPruner を紹介します。

写真

7. NeuroMixGDP: プライベートデータ公開のためのニューラルコラプスにヒントを得たランダムミックスアップ

著者: Donghao Li、Yang Cao、Yuan Yao

キーワード: ニューラルコラプス、差分プライバシー、プライベートデータ公開、Mixup

TL;DR: この論文では、ニューラル コラプス機能のランダム混合を活用して最先端のプライバシーとユーティリティのトレードオフを実現する、NeuroMixGDP と呼ばれる新しいプライベート データ公開フレームワークを提案しています。

写真

8. タスク境界検出機能を備えたオンラインメタ学習のアルゴリズム設計

著者: Daouda Sow、Sen Lin、Yingbin Liang、Junshan Zhang

キーワード: オンラインメタ学習、タスク境界検出、ドメインシフト、動的後悔、分布外検出

TL;DR: タスク境界が不明な非定常設定における、タスクに依存しないオンラインメタ学習のための新しいアルゴリズムを提案します。

写真

9. 閉ループ転写による構造化表現の教師なし学習

著者: Shengbang Tong、Xili Dai、Yubei Chen、Mingyang Li、Zengyi Li、Brent Yi、Yann LeCun、Yi Ma

キーワード: 教師なし/自己教師あり学習、クローズドループ転写

写真

10. ラベル無関係パッチ拡張による能動学習における最小限十分な表現の探索

著者: Zhiyu Xue、Yinlong Dai、Qi Lei

キーワード: 能動学習、データ拡張、最小限十分な表現

写真

11. タスク依存ニューラルマニホールドによる生物学的および人工的なニューラルネットワークの調査

著者: Michael Kuoch、Chi-Ning Chou、Nikhil Parthasarathy、Joel Dapello、James J. DiCarlo、Haim Sompolinsky、SueYeon Chung

キーワード: 計算神経科学、神経多様体、神経幾何学、表現幾何学、生物学に着想を得た視覚モデル、ニューロAI

TL;DR: 多様体容量理論と多様体アライメント分析を使用して、マカクの視覚皮質の表現と、さまざまな目的でトレーニングされた DNN 表現を研究し、比較します。

写真

12. ニューラルネットワークの適応接線特徴の観点

ダニエル・ルジューン、シナ・アレモハマド

キーワード: 適応型、カーネル学習、接線カーネル、ニューラル ネットワーク、低ランク

TL;DR: 近似低ランク正則化を重み行列に適用するニューラル ネットワーク構造を備えた適応型特徴モデル。

写真

13. バランスが重要: 適応勾配補正によるスパーストレーニングの高速化

著者: Bowen Lei、Dongkuan Xu、Ruqi Zhang、Shuren He、Bani Mallick

キーワード: スパーストレーニング、空間時間係数、加速、安定性、勾配補正

写真

14. 連合学習におけるモデルからのディープリーケージ

著者: Zihao Zhao、Mengen Luo、Wenbo Ding

キーワード: 連合学習、分散学習、プライバシー漏洩

写真

15. 合金の降伏強度予測のためのクロスクオリティ少数ショット転送：新しい材料科学ベンチマークとスパース指向の最適化フレームワーク

著者: Xuxi Chen、Tianlong Chen、Everardo Yeriel Olivares、Kate Elder、Scott McCall、Aurelien Perron、Joseph McKeown、Bhavya Kailkhura、Zhangyang Wang、Brian Gallagher

キーワード: AI4Science、スパース性、二段階最適化

写真

16. HRBP: スパース CNN トレーニングのためのブロックベースのプルーニングに向けたハードウェアフレンドリーな再グループ化

著者: Haoyu Ma、Chengming Zhang、lizhi xiang、Xiaolong Ma、Geng Yuan、Wenkai Zhang、Shiwei Liu、Tianlong Chen、Dingwen Tao、Yanzhi Wang、Zhangyang Wang、Xiaohui Xie

キーワード: 効率的なトレーニング、スパーストレーニング、細粒度構造化スパース性、再グループ化アルゴリズム

TL;DR: この論文では、前方パスと後方パスの両方で畳み込みニューラル ネットワークのスパース トレーニングを加速する、新しい細粒度構造化プルーニング アルゴリズムを提案します。

写真

17. 深層計量学習のための区分線形多様体

シュバン・バトナガル、ナレンドラ・アフージャ

キーワード: 深層計量学習、教師なし表現学習

写真

18. 皮質にヒントを得たニューラルネットワークにおける相関重みを持つスパース活性化

著者: チャンウー・チュン、ダニエル・リー

キーワード: 相関重み、生物学的ニューラル ネットワーク、皮質、ニューラル ネットワーク ガウス過程、スパース ニューラル ネットワーク、ベイジアン ニューラル ネットワーク、一般化理論、カーネル リッジ回帰、ディープ ニューラル ネットワーク、ランダム ニューラル ネットワーク

写真

19. 深い自己表現学習

著者: 陳昭、李春光、魏和、崇有

キーワード: 自己表現モデル、サブスペースクラスタリング、マニフォールドクラスタリング

TL;DR: 私たちは、解釈可能で、堅牢で、多様な学習とクラスタリングのためのスケーラブルな自己表現モデルに基づく「ホワイトボックス」ディープラーニング モデルを提案します。

写真

20. マルチモーダル大規模言語モデルの微調整における壊滅的な忘却の調査

著者: Yuexiang Zhai、Shengbang Tong、Xiao Li、Mu Cai、Qing Qu、Yong Jae Lee、Yi Ma

キーワード: マルチモーダル LLM、教師あり微調整、破滅的忘却

TL;DR: 教師あり微調整は、大規模なマルチモーダル言語モデルにおいて壊滅的な忘却につながります。

写真

21. 核ノルム正則化によるドメイン一般化

著者: 石振美、明易菲、樊英、フレデリック・サラ、梁英宇

キーワード: ドメイン一般化、核ノルム、ディープラーニング

TL;DR: ドメイン一般化のために、学習した特徴の核ノルムに基づくシンプルで効果的な正規化方法を提案します。

写真

22. 修正: Mixup によるドメイン一般化が非常に簡単になる

著者: 王 陸、王 金東、韓 毓、黄 雷、張 翔、陳 易強、謝 星

キーワード: ドメイン一般化、データ拡張、分布外一般化

写真

23. 難しい: 超平面配置降下

著者: 丁天嬌、彭良祖、ルネ・ヴィダル

キーワード: 超平面クラスタリング、部分空間クラスタリング、一般化主成分分析

写真

24. StyleGAN からの低次元潜在空間における微小動作のデコード

著者: Qiucheng Wu、Yifan Jiang、Junru Wu、Kai Wang、Eric Zhang、Humphrey Shi、Zhangyang Wang、Shiyu Chang

キーワード: 生成モデル、低ランク分解

TL;DR: StyleGAN の潜在空間では、多くの意味のあるバリエーション (「マイクロ感情」として表される) に対して共通の編集方向を再構築できる低次元の潜在サブスペースを一貫して見つけることができることを示します。

写真

25. 動的スパーストレーニングによる継続学習: 効果的なモデル更新のためのアルゴリズムの探究

著者: Murat Onur Yildirim、Elif Ceren Gok、Ghada Sokar、Decebal Constantin Mocanu、Joaquin Vanschoren

キーワード: 連続学習、スパースニューラルネットワーク、動的スパーストレーニング

TL;DR: 継続学習における動的スパーストレーニングを研究します。

写真

26. ミニマルホワイトボックストランスフォーマーによるセグメンテーションの出現

著者: Yaodong Yu、T​​ianzhe Chu、Shengbang Tong、Ziyang Wu、Druv Pai、Sam Buchanan、Yi Ma

キーワード: ホワイトボックストランスフォーマー、セグメンテーション特性の出現

TL;DR: ホワイトボックス トランスフォーマーは、最小限の教師ありトレーニング レシピを使用して、ネットワークの自己注意マップ内にセグメンテーション機能を生成できます。

写真

27. 因果関係の表現を効率的に解きほぐす

著者: Yuanpeng Li、Joel Hestness、Mohamed Elhoseiny、Liang Zhao、Kenneth Church

キーワード: 因果表現学習

28. 非凸最適化によるスパースフレシェ十分次元削減

著者: 翁嘉英、柯陳禄、王培

キーワード: フレシェ回帰、ミニマックス凹ペナルティ、マルチタスク回帰、十分な次元削減、十分な変数選択。

29. WS-iFSD: 忘れずに弱教師付き増分少数ショット物体検出

著者: Xinyu Gong、Li Yin、Juan-Manuel Perez-Rua、Zhangyang Wang、Zhicheng Yan

キーワード: 少数ショット物体検出

TL;DR: 当社の iFSD フレームワークは、メタ学習と弱教師付きカテゴリ拡張技術を採用し、基本カテゴリと新規カテゴリの両方でオブジェクトを検出し、複数のベンチマークで最先端の方法を大幅に上回ります。

写真

30. PC-X: 低速な例による高度なクラスタリング

著者: Yuangang Pan、Yinghua Yao、Ivor Tsang

キーワード: ディープクラスタリング、解釈可能な機械学習、最適化

TL;DR: この論文では、本質的に解釈可能で、さまざまなタイプの大規模データセットに一般的に適用可能な、Deep Clustering via Slow Examples (PC-X) という新しいエンドツーエンドのフレームワークを設計します。

写真

「最新ハイライト」トラックには 60 件の論文もあり、公式 Web サイト https://cpal.cc/spotlight_track/ で閲覧できます。