1.3>7? Microsoft の新しいモデルは、「小さな勝利で大きな勝利」戦略で Llama2 を打ち負かしました。ネットユーザーは質問しました: Benchmark でトレーニングされたのですか?

わずか 13 億のパラメータを持つ大規模なモデルが、なぜインターネット上で白熱した議論を引き起こしたのでしょうか?

パラメータ数は多くないにもかかわらず、7BパラメータのLlama2を上回る効果が得られていることがわかりました。

この「レバレッジ」モデルは、マイクロソフトの最新の研究成果です。その核心は、少量の高品質データのみを使用することです。

写真

今回マイクロソフトが公開したオープンソースモデルはphi-1.5と呼ばれ、コードのみをサポートするバージョン1.0に、汎用的なシナリオダイアログを追加したものです。

多数のパラメータを持つ多くのモデルと比較すると、phi は「異なるアプローチを採用」し、「大きな」モデルを「小さく」することを目指していると言えます。

写真

ファイチームは、データの質は量よりもはるかに重要であると常に信じてきました。論文のタイトルも「必要なのは教科書だけ」で、「教科書」は高品質のデータを象徴しています。

チームには、マイクロソフトリサーチ レドモンドの機械学習理論グループの責任者であるセバスチャン ブベック氏、2023 年スローン研究賞受賞者のユアンジ リー氏、2023 年数学ニューホライズン賞受賞者のロネン エルダン氏、2020 年スローン研究賞受賞者のイン タット リー氏など、多くの重鎮が含まれています。

写真

これほど多くの有力者が一致してそのような結論に達したという事実は、当然のことながら広く注目を集め、ファイ1.5のテスト結果は確かに十分に「とんでもない」ものでした。

phi-1.5 は、AGIEval や LM-Eval などの複数のベンチマークで Llama2 よりも優れた結果を達成しました。

これが直感的にわかりにくい場合、その効果をどのように説明すればよいでしょうか?

言い換えれば、phi-1.5 の優れた評価結果は、OpenAI や MetaAI などの多くの有名な機関で働いてきた大物に、これが Benchmark で直接トレーニングされたのかどうか直接疑わせるものでした。

写真

上級データサイエンティストのヤム・ペレグ氏はまた、ファイ1.5はわずか13億のパラメータで70億モデルのリーダーを上回ることができ、規模が大きければ、大規模モデルのトップに到達できるかもしれないと述べた。

写真

しかし、phi-1.5 がうまく機能する理由は、データ ソースが 1 つだけであり、スタイルを予測しやすいためだと考える人もいます。

写真

しかし、全体的に評価結果は依然として非常に印象的です。詳しく見てみましょう〜

Llama2よりも効果的

phi-1.5 は Llama2 の 5 分の 1 未満のパラメータを持つだけでなく、トレーニング中に使用するトークンも 1 桁少なくなります。

Llama2-7B のトレーニング データ サイズは 2 兆トークンで、前世代の Llama も 1 兆トークン、phi-1.5 は 3000 億トークンしかありません。

写真

しかし、結果は冒頭で述べたとおりで、phi-1.5 は複数のベンチマークで Llama2-7B を上回りました。

これらのベンチマークは、常識的推論、言語理解、多段階推論などのタスクをカバーします。

パラメータ数が 10 倍の Vicuna-13B でも、phi-1.5 よりわずかに優れているだけです。

写真

公式論文に記載されている結果に加えて、phi-1.5 は AIGEval および LM-Eval データセットでもテストされています。

その結果、AIGEval テストでは、phi-1.5 と Llama2 のパフォーマンスは非常に近いものとなりました。

写真

AGIEval テストでは、phi-1.5 が平均スコア 0.236、平均スコア 0.247 で Llama2 に勝利しました。

写真

phi-1.5 は、能力評価における優れたパフォーマンスに加えて、Llama2 と同等の安全性も備えています。

誰かがそれぞれ Falcon、Llama2、phi にこの質問をしました。

その結果、ファルコンはサメによってすべての人間を殺すと直接言い、一方ラマ2は、まず自分が何者なのかを理解しなければならないと言いました。

ファイの答えは、人間の考えや感情を理解し、それに応じて行動を調整することです。

写真

評価結果では、phi の安全性も確認されました。ToxiGen の 13 の敏感なトピックの中で、phi は例外なく最高の安全性スコアを達成しました。

写真

私たちは皆、phi のパフォーマンスを見てきましたが、そのパフォーマンスはどうでしょうか?

結局のところ、パラメータとトレーニングトークンの数が少ないので、トレーニングと推論の速度が速くなります。

Llama のトレーニングには 80,000 GPU 時間以上かかりました。これは最初の世代にかかった時間であり、phi には 1,500 GPU 時間しかかからなかったことに注意してください。

推論中、phi はトークンあたり 3 ミリ秒未満しかかからず、Llama のメモリの 5 分の 1 未満しか占有しません。

写真

チームメンバーによると、8 台の A100 を使用して phi-1.5 をトレーニングするのに 2 週間もかかりませんでした。

写真

一部のネットユーザーも、パフィンデータセットを使用して Phi-1.5 をトレーニングしましたが、4090 で 20 分しかかかりませんでした。

写真

これらのテストデータは、データ品質が高ければ多少劣っても問題ないという研究チームの見解を裏付ける証拠となります。

実は、「量より質」という考え方がマイクロソフトのモデルに反映されたのは今回が初めてではない。

「大きな」モデルを「小さな」モデルにする

「大きな」モデルを「小さく」することは、常に Microsoft の研究方向であり、phi-1.5 論文の最初の文はこの点を強調しています。

写真

コードの問題に重点を置いた phi-1.5 の前身である phi-1.0 についても同様です。

トレーニングデータはすべてプログラミングの教科書から抽出されます。

その結果、わずか 13 億のパラメータで、155 億の StarCoder や 161 億の CodeGen をはるかに上回ります。

写真

この新しいバージョンは phi-1.0 を継承し、一般的なシーンダイアログ機能が追加されています。

phi-1.5 のデータの 20% は 1.0 から取得され、残りの 80% は知識ニーズに基づいて特別に生成された高品質のデータです。

したがって、私たちが目にするテスト結果は次のようになります。

しかし、Phi シリーズは Microsoft の最小モデルではありません。

マイクロソフトは以前、パラメータ数がさらに少なく、わずか 100 万個しかない TinyStories というトレーニング データ セットを公開しました。

TinyStories のデータはすべて、GPT を使用して生成された「3 歳または 4 歳の子供が読むのに適した」短編小説です。

適用範囲はそれほど広くはありませんが、TinyStories でトレーニングされたモデルは依然として言語生成特性を示し、文法と一貫性の面でテストに合格しています。

では、マイクロソフトが発表した「小型」モデルについてどう思いますか?

論文アドレス: https://arxiv.org/abs/2309.05463