コンシューマーグレードのグラフィックカードが利用可能になりました。李開復のゼロワンエブリシングは、史上最強の数学コードである90億パラメータのYiモデルをリリースし、オープンソース化しました。

李開復氏が所有するAI企業Zero One Everythingにも、もう1つの大手モデルプレイヤーが登場した。

90億のパラメータYi-9B 。

Yiシリーズの中では「理科の成績優秀者」として知られており、コーディング数学を「補い」つつ、総合的な能力でも劣っていません。

これは、同様の規模の一連のオープンソースモデル(Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5 など) の中で最も優れたパフォーマンスを発揮します。

いつものように、このリリースはオープンソースであり、特に開発者にとって使いやすいものとなっています。

Yi-9B (BF 16) とその量子化バージョンである Yi-9B (Int8) はどちらも、コンシューマーグレードのグラフィックカードに導入できます。

RTX 4090 1 台と RTX 3090 1 台で十分です。

深い増幅 + 多段階の漸進的トレーニング

Zero One Thing の Yi ファミリーは、これまでに Yi-6B および Yi-34B シリーズをリリースしています。

どちらも 3.1T トークンの中国語と英語のデータで事前トレーニングされていますが、Yi-9B はさらなるトレーニングのために 0.8T トークンを追加します。

データの締め切りは2023年6月です。

冒頭で述べたように、Yi-9B の最大の改善点は数学とコードにあります。では、この 2 つの機能はどのように改善されたのでしょうか?

ゼロワンエブリシングの紹介:

単にデータ量を増やすだけでは、望ましい結果は得られません。

まずモデルのサイズをYi-6Bから9Bに増やし、次に多段階のデータ増分トレーニングを実行します。

まず、モデルのサイズを大きくするにはどうすればいいでしょうか?

1 つの前提は、チームが分析を通じて次のことを発見したことです。

Yi-6B は完全に訓練されており、トークンを追加しても訓練効果が向上しない可能性があるため、サイズを拡大することを検討しています。（下の写真の単位はTBではなくBです）

増やす方法は？答えは、ディープ増幅です。

ゼロワンエブリシングの紹介:

元のモデルの幅を拡張すると、パフォーマンスの低下が大きくなります。適切なレイヤーを選択してモデルの深さを拡張した後、新しく追加されたレイヤーの入出力コサインが 1.0 に近づくほど、拡張モデルのパフォーマンスが向上し、元のモデルのパフォーマンスを維持でき、モデルのパフォーマンスの低下はわずかになります。

このアイデアに従い、ゼロワンエブリシングは、比較的後期の Yi-6B の 16 層(12 ～ 28 層)をコピーして、48 層の Yi-9B を形成することを選択しました。

実験では、この方法は Solar-10.7B モデルを使用して中間の 16 層(8 ～ 24 層)をコピーするよりもパフォーマンスが優れていることが示されています。

次に、多段階トレーニング法とは何でしょうか?

答えは、まずテキストやコードを含むデータを0.4T増やすことですが、データ比率はYi-6Bと同じです。

次に、テキストとコードも含めた 0.4T のデータを追加しますが、コードと数学データの割合を増やすことに重点を置きます。

（分かりました。これは、大きなモデルの質問で使用したトリックと同じです。「段階的に考える」）

これら 2 つのステップを完了した後、チームは 2 つの論文(「An Empirical Model of Large-Batch Training」と「Don't Decay the Learning Rate, Increase the Batch Size」) のアイデアを参考にして、パラメータ調整方法も最適化しました。

つまり、固定の学習率から始めて、モデルの損失が減少しなくなったら、バッチサイズを増やして、中断することなく損失が減少し続けるようにし、モデルがより完全に学習できるようにします。

最終的に、Yi-9B には合計 88 億個のパラメータが含まれており、4k のコンテキスト長が達成されます。