Apple: 画像モデルの事前トレーニングに言語モデルの自己回帰アプローチを使用する

1. 背景

GPTなどの大規模モデルの登場後、言語モデルのTransformer +自己回帰モデリング法、つまり次のトークンを予測する事前トレーニングタスクは大きな成功を収めました。では、この自己回帰モデリング手法は、視覚モデルでより良い結果を達成できるのでしょうか?今回紹介する記事は、Appleが最近公開したTransformer + 自己回帰事前学習に基づく視覚モデルのトレーニングに関する記事です。この作業について詳しく紹介します。

写真

論文タイトル: 大規模自己回帰画像モデルのスケーラブルな事前トレーニング

ダウンロードアドレス: https://arxiv.org/pdf/2401.08541v1.pdf

オープンソースコード: https://github.com/apple/ml-aim

2. モデル構造

全体的なモデル構造はTransformerを採用し、最適化ターゲットは言語モデルにおける次のトークン予測を採用しています。モデル構造に関しては、主に 3 つの変更点があります。まず、ViTの双方向アテンションと比較して、この記事ではGPTの一方向アテンションを使用します。つまり、各位置の要素は前の要素とのアテンションのみを計算できます。

写真

次に、プレフィックスが導入されます。Transformer の前に、複数のプレフィックストークンが入力に追加されます。これらのトークンは双方向アテンションを使用します。この主な機能は、事前トレーニングと下流のアプリケーション間の一貫性を確保することです。下流では、ViT に似た双方向アテンション方式が使用されます。事前トレーニングでは、プレフィックス双方向アテンションを追加して、モデルを下流のタスクに適応させます。

写真

最後に、モデルの最終出力の MLP レイヤーが最適化されます。元の事前トレーニング方法では、通常、MLP レイヤーを破棄し、下流の微調整で新しい MLP を使用して、事前トレーニングされた MLP が事前トレーニングタスクに偏りすぎて下流のタスクのパフォーマンスが低下するのを防ぎます。この論文では、各パッチに独立した MLP を使用しています。画像の全体的な表現については、各パッチが一般的なプーリングではなく注意力で融合されることが保証されており、これにより、下流のタスクでの事前トレーニング済み MLP ヘッドの使いやすさが向上します。

最適化の目的に関して、この論文では 2 つの方法を試しました。1 つ目は、パッチピクセルを直接フィッティングし、予測に MSE を使用する方法です。 2 つ目は、画像パッチを事前にトークン化し、分類タスクに変換して、クロスエントロピー損失を使用することです。しかし、記事中のその後のアブレーション実験では、2 番目の方法でもモデルを正常にトレーニングできるものの、その効果はピクセル粒度 MSE に基づく方法ほど良くないことがわかりました。