720 億のパラメータ モデルがオープン ソースになりました。 Tongyi Qianwenのオープンソースファミリーバケットは、最小の18億モデルの端と側面の両方で実行できます。

「Qwen-72Bモデルは11月30日に発売されます。」数日前、Xプラットフォームのネットユーザーがこのようなメッセージを投稿しました。メッセージの出所は会話でした。同氏はさらに、「（新しいモデルが）14Bモデルと似たものであれば、素晴らしいものになるだろう」と付け加えた。

あるネットユーザーはこの投稿を転送し、「最近、千文モデルのパフォーマンスは好調だ」と書いた。

この文中の14Bモデルとは、Alibaba Cloudが9月にオープンソース化した140億のパラメータを持つQwen-14Bモデルを指します。当時、このモデルは複数の権威ある評価で同サイズのモデルを上回り、一部の指標はLlama2-70Bに迫るほどで、国内外の開発者コミュニティで非常に人気がありました。今後 2 か月間で、Qwen-14B を使用した開発者は、当然ながらより大きなモデルに興味を持ち、期待するようになるだろう。

日本の開発者も期待しているようです。

ニュースで報じられていた通り、11月30日にQwen-72Bがオープンソース化されました。オープンソースのトレンドに従う外国人開発者が杭州時間で生活することを独力で可能にしたのだ。

アリババクラウドも本日の記者会見で多くの詳細を発表した。

パフォーマンスデータから判断すると、Qwen-72B は皆の期待に応えました。 MMLUやAGIEvalなどの権威あるベンチマーク評価10件において、Qwen-72Bはオープンソースモデルの中で最高の結果を達成し、オープンソースベンチマークLlama 2-70Bやほとんどの商用クローズドソースモデルを上回り、最も強力なオープンソースモデルとなりました（一部のスコアはGPT-3.5やGPT-4を上回っています）。

これまで、中国の大型模型市場には、Llama 2-70B に対抗できる高品質のオープンソース大型模型がなかったことを知っておく必要があります。Qwen-72B はこのギャップを埋めました。その後、国内の大・中堅企業はその強力な推論能力をもとに商用アプリケーションを開発したり、大学や研究機関はそれをもとにAI for Scienceなどの科学研究を行ったりすることができるようになります。

さらに小型モデルのQwen-1.8BやオーディオモデルのQwen-Audioも発売された。小型と大型の Qwen-1.8B と Qwen-72B は、従来のオープンソースの 7B および 14B モデルと合わせて、さまざまなアプリケーション シナリオに適した完全なオープンソース スペクトルを形成します。 Qwen-Audio、以前はオープンソースだった視覚理解モデル Qwen-VL、および基本テキスト モデルは、開発者が大規模モデルの機能をより現実的な環境に拡張するのに役立つマルチモーダル スペクトルを形成します。

Tongyi Qianwen の最小のオープンソース モデルは Qwen-1.8B で、2K の長さのテキスト コンテンツを推測するのに 3G のビデオ メモリしか必要としません。携帯電話などの端末に言語モデルを展開したい開発者は試してみると良さそうです。

この「フルサイズ、フルモード」のオープンソースの取り組みは、業界でも比類のないものです。 Qwen-72B はオープンソース モデルのサイズとパフォーマンスの上限を引き上げました。このオープンソース モデルの機能を検証するために、Synced は Alibaba Cloud Moda コミュニティでこれを試用し、開発者にとっての Tongyi Qianwen オープンソース モデルの魅力について議論しました。

直接体験:

より強力な推論とカスタマイズ可能なキャラクター

下の写真はQwen-72Bのユーザーインターフェースです。下の「入力」ボックスに質問やその他のインタラクティブなコンテンツを入力すると、中央のボックスに回答が出力されます。現在、Qwen-72B は中国語と英語の入力をサポートしていますが、これも Tongyi Qianwen と Llama2 の大きな違いです。これまで、 Llama2 の中国語サポートが貧弱だったため、多くの国内開発者が頭を悩ませていました。

体験アドレス: https://modelscope.cn/studios/qwen/Qwen-72B-Chat-Demo/summary

中国語の課題では、Qwen-72BがCEVAL、CMMLU、Gaokaoなどの評価で特に複雑な意味理解と論理的推論において優れていることがわかりました。まずは、中国武侠小説の登場人物の要素を含む、混乱しやすい文章の分析から始めましょう。Qwen-72B はどうやら「过」に複数の異なる意味を帯びているようです。

同様に混乱を招く別の文でも、非常にわかりやすく説明されています。

川を安全に渡るという古典的な「農夫、キツネ、ウサギ、ニンジン」ゲームをしてみましょう。Qwen-72B も流暢に答えることができます。

Qwen-72B は英語入力をサポートしているため、バイリンガル対話機能もテストする必要があります。簡単な詩の翻訳は確かに問題ではありません。

Qwen-72B は本物のアメリカのスラングもよく理解しています。

数学の天才オンライン

数学は常に大規模モデルの重要なテストでした。データによると、Qwen-72B は MATH などのテストで他のオープンソース モデルを大きくリードしています。実際のテスト結果はどうですか?まず、サイコロを振る典型的な確率の問題を出しましたが、当然ながら困惑することはありませんでした。

同じケージに鶏とウサギを入れる問題です。答えは正しいのですが、解決方法が少し特殊です。

2 本のボトルに水を入れる問題も簡単に解決できます。

林黛玉と孔子の化身

大型モデルに個別の役割を与えることが、この Qwen-72B の大きな特徴です。強力なシステムコマンド機能のおかげで、プロンプトワードを設定するだけで、独自の AI アシスタントをカスタマイズし、独自の役割、性格、アクセントなどを与えることができます。

まずは林黛玉の口調で返事をさせましょう。

そしてそれを孔子に変えれば、彼の真摯な教えがあなたに伝わるでしょう。

彼は中国東北部や天津などの方言も流暢に話すことができます。

どのようにしてこのような良い効果が得られるのでしょうか? Alibaba Cloudが発表した技術情報によると、Qwen-72Bの推論性能の向上は、データやトレーニングなどの最適化と切り離せないものとなっている。

データレベルでは、Tongyi は現在、最大 150,000 の語彙を持つ最大3T トークンのデータを利用しています。 Tongyi Qianwen チームによると、このモデルはまだトレーニング中であり、将来的にはさらに高品質のデータを使用する予定だという。

モデルのトレーニングでは、大規模な分散並列トレーニングのためにdp、tp、pp、spなどの手法を総合的に活用し、Flash Attention v2などの効率的な演算子を導入してトレーニング速度を向上させました。 Alibaba Cloud の人工知能プラットフォーム PAI のトポロジーを考慮したスケジューリング メカニズムの助けにより、大規模なトレーニング中の通信コストが効果的に削減され、トレーニング速度が 30% 向上します。

累計ダウンロード数が150万を超えたのはなぜですか？

上記の評価結果から判断すると、Qwen-72B に代表される Tongyi Qianwen シリーズのオープンソース モデルは、Llama 2 よりも強力な中国語機能など、開発者が選択する多くの理由を提供します。

Youlu Roboticsの創設者兼CEOであるChen Junbo氏は、製品を開発する際に、市場で入手可能なすべての大型モデルを試し、最終的にTongyi Qianwenを選んだ理由について、「少なくとも中国の分野では、最高の知能性能を備えたオープンソースの大型モデルの1つである」と述べた。

では、なぜクローズドソースモデルを使用しないのでしょうか?中国エネルギーエンジニアリンググループ浙江電力設計研究所株式会社のシステム部門の専門家であるTao Jia氏は、外国のモデル（GPT-4など）は非常に強力だが、API呼び出しが不便であり、Bサイドのユーザーは自分でカスタマイズすることを好むため、APIでできることはまだ少ないと述べています。

モデルのカスタマイズ性も、陳俊波氏が重視するポイントです。同氏は、必要なのは、一定の知能レベルを持つ大規模言語モデルではなく、企業がデータを蓄積するにつれて賢くなる大規模言語モデルだと述べた。「クローズドソースの大規模モデルでは明らかにこれができないので、私たちの業界では、最終的な成果はオープンソースモデルでなければなりません。」

アプリケーション構築に Tongyi Qianwen オープンソース モデルを使用した経験について、Tao Jia 氏は次のように語っています。「私が試したいくつかのオープンソース モデルの中で、Tongyi Qianwen が最高です。答えが正確であるだけでなく、"感触" も非常に優れています。"感触" は主観的なものです。一般的に、これは私のニーズに最も合致し、奇妙なバグがないモデルです。」

実際、「需要」に関して言えば、ほぼすべての B 側ユーザーの需要は「コスト削減と効率向上」と切り離せないものであり、これはオープンソース モデルのもう 1 つの利点です。 9 月の統計によると、Llama2 -70B は GPT-4 より約 30 倍安価でした。OpenAI が値下げを発表した後も、Llama2 -70B は依然として数倍のコスト優位性を維持しており、70B より小さい派生オープンソース モデルは言うまでもありません。これは企業にとって非常に魅力的です。

画像ソース: https://promptengineering.org/how-does-llama-2-compare-to-gpt-and-other-ai-language-models/

例えば、データエンタープライズサービスブランドLingyang Quick BIのプロダクトマネージャーであるWang Zhaotian氏は、Qianwenの大きな利点の1つは軽量であることであり、「低コストのハードウェア環境で展開して使用できる」と述べています。これにより、Quick BIはTongyi Qianwenビッグモデルに基づいて開発されたインテリジェントデータアシスタント「Smart Little Q」で主導権を握り、競合他社よりも早くリリースしてユーザーの心をつかむことができます。

Future Speedの共同創設者兼CEOであるQin Xuye氏の発言は、多くの企業の共感を呼ぶかもしれない。同氏は、企業ユーザーは、モデルに包括的な機能を求めることよりも、問題が解決できるかどうかを重視していると述べた。企業の「問題」は難易度が異なり、利用可能な資金、コンピューティング能力、展開要件も大きく異なります。そのため、このモデルの柔軟性とコスト効率は非常に高くなります。たとえば、企業によっては、携帯電話やその他のエンドデバイス上で大規模なモデルを実行したいと考えるところもあれば、比較的豊富なコンピューティング能力を持ちながらも、より強力な推論機能を備えたモデルを必要としているところもあります。 Tongyi Qianwen は、開発者向けにこれらのオプションを提供しています。18億から 72 億まで、テキストから音声、画像まで、豊富なオープンソース パッケージが用意されており、ニーズに最適なものが必ず見つかります。

複数の信頼できるテスト セットでは、Tongyi Qianwen の 18 億パラメータのオープン ソース モデル Qwen-1.8B は、以前の SOTA モデルよりもはるかに優れたパフォーマンスを発揮します。

しかし、それだけではありません。オープンソース ユーザーを選択する開発者や企業にとって、モデルが持続可能であるかどうかとエコシステムが充実しているかどうかは、同様に重要です。

「私たちには、ベースモデルをゼロからトレーニングするリソースがありません。モデルを選択する際に最初に考慮すべきことは、その背後にある組織がそのモデルを高く評価し、ベースモデルとそのエコロジカルな構築に投資し続けることができるかどうかです。流行を追いかけて利益を得るために生まれた大規模なモデルは持続可能ではありません。」これらは、華東科技大学のXDラボの中心メンバーであるヤン・シンが、モデルが持続可能かどうかを判断するために使用する基準の一部です。

どうやら、上半期の「100人模型大戦」を見て、自分が選んだ模型が今回のコンテストで廃盤になるのではないかとも心配していたようだ。この状況を回避するために、国内の大企業の中で唯一、大規模モデルをオープンソース化している組織であるアリババクラウドを選択しました。さらに、同一千文以外にも、国内トップモデルの半数以上がAlibaba Cloud上で稼働しており、インフラ構築への投資と持続可能性は疑う余地がありません。

また、アリババクラウドは以前から大規模モデルに取り組んでおり、2018年に大規模モデルの研究を開始し、2023年には「大規模モデルにすべて」というシグナルを発信しました。これらのシグナルは、大規模モデルの持続可能性を懸念している開発者にとって安心できるものです。 Yan Xin氏は、「Alibaba CloudがTongyi Qianwen 72Bモデルのような大規模なモデルをオープンソース化できるという事実は、同社がオープンソースへの投資を決意し、継続できることを示しています」とコメントした。

生態学の面では、ヤン・シン氏は「生態学の力を最大限に引き出し、上流と下流の環境に適合できる主流かつ安定したモデルアーキテクチャを選択したい」と自身の考えも表明した。

これは実際に、Tongyi Qianwen のオープンソース モデルの利点です。初期のオープンソース開発により、Alibaba Cloud のオープンソース エコシステムは実際に形になり始めています。Tongyi Qianwen オープンソース モデルの累計ダウンロード数は 150 万を超え、数十の新しいモデルと新しいアプリケーションが誕生しました。これらの開発者は、アプリケーション シナリオからの豊富なフィードバックを Tongyi Qianwen に提供し、開発チームがオープン ソースの基本モデルを継続的に最適化できるようにしています。

さらに、コミュニティ内での関連サポートサービスも魅力的なポイントです。 Chen Junbo 氏は、「Tongyi Qianwen は非常に便利なツール チェーンを提供しており、これを使用すると、独自のデータに対して迅速に微調整やさまざまな実験を行うことができます。また、Tongyi Qianwen のサービスは非常に優れており、どのようなニーズにも迅速に対応できます」と述べています。これは、現在のほとんどのオープン ソース モデル プロバイダーではできないことです。

ヤン・ルカン:

オープンソースはAIと社会の発展の両方に役立つ

気がつけば ChatGPT がリリースされてから 1 年が経ち、今年はオープンソース モデルが追いつこうと努力している年でもあります。この間、大規模なモデルをオープンソースにすべきかクローズドソースにすべきかについては、常に議論されてきました。

少し前のインタビューで、Meta の主任科学者でありチューリング賞受賞者の Yann LeCun 氏は、常にオープンソースに尽力してきた理由を明らかにしました。彼は将来の AI が人類のあらゆる知識の宝庫になると信じています。そして、このリポジトリには誰もが貢献することが求められており、これはオープンソースでしか実現できないことです。さらに、彼は以前、オープンソース モデルによって、より多くの人々や企業が最先端のテクノロジーを活用して潜在的な弱点を補い、社会的格差を減らし、競争を改善できるようになると述べています。

記者会見で、アリババクラウドのCTOである周景仁氏はオープンソースへの重視を改めて強調し、同益千文はオープンソースを堅持し、「 AI時代の最もオープンなビッグモデル」を作り上げたいと語った。より大規模なオープンソース モデルが期待できそうです。