陳丹奇チームの新作：5％のコストでSOTAを達成、「アルパカの毛刈り」法が人気

わずか3% の計算労力と5% のコストで SOTA を達成し、1B-3B 規模の大規模オープンソース モデルを上回りました。

この成果はプリンストン大学のChen Danqi 氏のチームによるもので、 LLM-Shearing大規模モデル剪定法と呼ばれています。

アルパカ LLaMA 2 7B に基づいて、1.3B と 3B の剪定後の Sheared-LLama モデルが、指向性構造剪定によって取得されました。

下流タスク評価では、同じサイズの以前のモデルを上回ります。

第一著者の夏孟州氏は、「最初から事前トレーニングを行うよりもはるかに費用対効果が高い」と述べた。

この論文では、剪定された Sheared-LLaMA 出力の例も示されており、規模がわずか 13 億と 27 億であるにもかかわらず、一貫性があり内容が豊富な応答を生成できることを示しています。

同じ「半導体業界アナリストを演じる」タスクの場合、バージョン 2.7B の回答構造はさらに明確になります。

研究チームによると、剪定実験にはLlama 2 7Bバージョンのみが使用されたが、この方法は他のモデルアーキテクチャにも適用でき、あらゆる規模に拡張できるという。

もう 1 つの利点は、プルーニング後に、高品質のデータセットを選択して事前トレーニングを続行できることです。

ある開発者は、6 か月前には 65B 未満のモデルは実用的ではないとほぼ全員が考えていたと述べています。

この傾向が続けば、1B-3B モデルも、今でなくても、近いうちに大きな価値を生み出すことになるでしょう。

プルーニングを制約付き最適化として扱う

LLM-Shearing は、具体的には、大規模なモデルを指定されたターゲット構造に剪定する、指向性構造化剪定です。

以前のプルーニング方法では、一部の構造が削除され、表現力に影響を与えるため、モデルのパフォーマンスが低下する可能性があります。

新しい方法では、プルーニングを制約付き最適化問題と見なし、パフォーマンスの最大化を目指しながら、指定された構造に一致するサブネットワークを検索するためのプルーニング マスク マトリックスを学習します。

次に、プルーニングされたモデルは、プルーニングによって生じたパフォーマンスの低下をある程度回復するために、事前トレーニングを継続します。

この段階で、チームは、プルーニングされたモデルと最初からトレーニングされたモデルの損失削減率がデータセットごとに異なり、データの利用が非効率的になることを発見しました。

この目的のために、研究チームは、異なるドメインのデータに対するモデルの損失削減率に基づいて各ドメインのデータの割合を動的に調整し、データの利用効率を向上させる「ダイナミックバッチローディング」を提案しました。

実験により、剪定されたモデルは、最初は最初からトレーニングされた同じサイズのモデルよりもパフォーマンスが大幅に低下しますが、事前トレーニングを継続すると急速に改善され、最終的にはそれを上回ることがわかりました。

これは、強力なベースモデルからの剪定により、継続的な事前トレーニングのためのより優れた初期化条件を提供できることを示唆しています。

更新し続けます、一つずつ切りに来てください

論文の著者は、プリンストン大学の博士課程学生である夏孟洲氏と高天宇氏、清華大学の曽志遠氏、プリンストン大学の助教授である陳丹奇氏である。

夏孟州は復旦大学で学士号を取得し、CMUで修士号を取得しました。

清華大学で学士号を取得した高天宇氏が、2019年の清華大学特別賞を受賞した。

二人とも、現在プリンストン大学の助教授であり、プリンストン NLP グループの共同リーダーである Danqi Chen 氏の教え子でした。

最近、陳丹奇氏は自身のホームページで自身の研究の方向性を更新しました。

「最近は主に大型モデルの開発に興味があります」と語り、研究しているトピックには次のようなものがあります。

• 検索が次世代モデルで重要な役割を果たし、現実感、適応性、解釈可能性、信頼性を向上させる仕組み。
• 大規模モデルの低コストのトレーニングと展開、トレーニング方法の改善、データ管理、モデル圧縮、下流のタスク適応の最適化。
• 私はまた、経験的にも理論的にも、現在の大規模モデルの能力と限界についての理解を真に深める仕事にも興味があります。

Sheared-Llamaは現在Hugging Faceで販売中です。

チームはオープンソースライブラリは今後も更新され続けると述べた。

大型モデルが発売されるごとに順次カットし、高性能な小型モデルを発売していきます。

もう一つ

大きなモデルは、今では本当にカールしすぎていると言わざるを得ません。

第一著者の夏孟州氏は、論文を書いた当時はまだ SOTA であったが、論文が完成した後、最新の Stable-LM-3B にすでに追い抜かれていたと訂正を発表しました。

論文アドレス: https://arxiv.org/abs/2310.06694

ハギングフェイス: https://huggingface.co/princeton-nlp

プロジェクトのホームページ: https://xiamengzhou.github.io/sheared-llama/