データは1/5000に縮小されたが、モデルの精度は2倍に。Googleの新しい「蒸留法」が人気に

[[441258]]

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

錬金術のプロセスでは、トレーニングに必要なリソースを削減するために、ML 担当者は、圧縮前と同じ結果を確保しながら、大規模で複雑なモデルを小さなモデルに「蒸留」することがあります。

これは知識蒸留、つまりモデルの圧縮/トレーニング方法です。

しかし、技術の発展に伴い、蒸留の対象は徐々にデータセットへと拡大してきました。

Google は最近、データセット抽出の新しい方法を 2 つ提案しました。これは Twitter で大きな話題となり、600 回以上閲覧されました。

このように、50,000枚の注釈付き画像のCIFAR-10データセットをそのサイズの1/5000に「蒸留」し、 10個の合成データポイントのみでトレーニングすることで、モデルの精度は依然として51%近くになります。

△上: 元のデータセット 下: 蒸留後

「蒸留データセット」が 500 枚の画像 (元のデータセットの 1% のサイズ) で構成されている場合、その精度は 80% に達します。

2 つのデータセット蒸留方法は、それぞれ ICLR 2021 と NeurIPS 2021 の 2 つの論文から得たものです。

2段階ループによる最適化

では、データセットをどのように「抽出」できるのでしょうか?

実際、これは 2 段階の最適化プロセスに相当します。

1. 学習データでモデルをトレーニングするために使用される「内部ループ」
2. 「外側のループ」は、自然データに対する学習データのパフォーマンスを最適化するために使用されます。

内側のループを通じてカーネル リッジ回帰 (KRR) 関数を取得し、外側のループで元の画像注釈とカーネル リッジ回帰関数で予測された注釈の間の平均二乗誤差 (MSE) を計算します。

現時点では、Google が提案する 2 つの方法には、処理ルートが異なります。

1.ラベルの説明（LS）

このアプローチは、KRR 損失関数を最小化するサポート ラベルのセットを直接解釈し、各サポート イメージに対して一意の高密度注釈ベクトルを生成します。

△ 青: オリジナルのワンホットアノテーション オレンジ: LSによって生成された密なアノテーション

2.カーネル誘導ポイント(KIP)

このアプローチは、勾配ベースの方法を通じて KRR 損失関数を最小化することにより、画像と生成される可能性のあるデータを最適化します。

MNIST を例にとると、下の図の上、中、下の画像はそれぞれ、元の MNIST データセット、固定注釈付きの KIP 蒸留画像、最適化された注釈付きの KIP 蒸留画像です。

データセットを精製する際に、注釈を最適化することで最良の効果が得られることがわかります。

既存の DC (データセット凝縮) 方式と DSP (微分可能な Siamese Augmentation によるデータセット凝縮) 方式を比較すると、次のことがわかります。

カテゴリごとに 1 つの画像のみ、つまり最終的に 10 枚の画像のみを含む蒸留データセットを使用する場合、KIP メソッドのテスト セットの精度は、DC メソッドや DSP メソッドよりも一般的に高くなります。

CIFAR-10 分類タスクでも、LS は従来の方法よりも優れており、KIP ではパフォーマンスが 2 倍になることさえあります。

これに対してGoogleは次のように答えた。

これは、場合によっては、100 倍小さい「蒸留データセット」の方が元のデータセットよりもパフォーマンスが優れていることを示しています。

2人の中国人作家

プロジェクト全体は、Lechao Xiao、Zhourong Chen、Roman Novak によって完成されました。

そのうち、シャオ・レチャオ氏は LS 法に関する論文の著者の一人です。浙江大学応用数学科を卒業し、イリノイ大学アーバナ・シャンペーン校 (UIUC) で博士号を取得しました。現在は Google Brain チームの科学者です。

彼の主な研究対象は数学、機械学習、ディープラーニングです。

もう一人の中国人科学者、Zhourong Chen 氏も KIP 法に関する論文の著者の一人です。彼は中山大学で学士号を取得し、香港科技大学でコンピュータサイエンスとエンジニアリングの博士号を取得しました。現在は Google Research のソフトウェア エンジニアです。

紙：
[1] https://openreview.net/forum?id=l-PrrQrK0QR
[2] https://openreview.net/forum?id=hXWPpJedrVP

オープンソースアドレス:
https://github.com/google-research/google-research/tree/master/kip