崑崙万為が「天宮」13Bシリーズ大型モデルをオープンソース化、商用利用のハードルはゼロ

10月30日、崑崙万為は、数百億語の容量を持つ大規模言語モデル「天工」Skywork-13Bシリーズのオープンソース化を発表し、また、600GB、1500億トークンの大規模で高品質なオープンソース中国語データセットも珍しくリリースした。

崑崙万威の「天宮」Skywork-13Bシリーズには現在、130億のパラメータを持つ2つのモデル、Skywork-13B-BaseモデルとSkywork-13B-Mathモデルが含まれています。これらはCEVALやGSM8Kなど、複数の権威ある評価やベンチマークテストで、同規模のモデルの中で最高の結果を示しました。特に中国での能力が優れており、中国の技術、金融、政府関係などの分野でのパフォーマンスは他のオープンソースモデルよりも高くなっています。

Skywork-13B ダウンロードアドレス（モデルスコープ）：https://modelscope.cn/organization/skywork

Skywork-13B ダウンロードアドレス (Github): https://github.com/SkyworkAI/Skywork

オープンソース モデルに加えて、大規模モデルの Skywork-13B シリーズでは、600 GB、1500 億トークンの高品質中国語コーパス データセット Skypile/Chinese-Web-Text-150B もオープンソース化されます。これは、現在利用可能な最大のオープンソース中国語データセットの 1 つです。

同時に、崑崙万為の「天工」Skywork-13Bシリーズの大型モデルは、まもなく商業利用に全面的に開放され、開発者は申請することなく商業目的で使用できるようになります。

130億のパラメータ、2つの主要モデル、中国最大級のデータセットの1つ、商用利用に完全にオープン。崑崙万為の「Skywork」Skywork-13Bシリーズの大型モデルは、業界で最も徹底したオープンソースの、数百億の価値がある高品質の商用モデルです。

Skywork-13Bシリーズの大型モデルのオープンソース化は、大型モデルの現場応用とオープンソースコミュニティの発展に最高の技術サポートを提供し、大型モデルの商業化の敷居を下げ、数千の業界での人工知能技術の実装を促進し、人工知能エコシステムの構築に貢献し、オープンソースコミュニティと協力して未知の世界を探索し、より良い未来を創造します。

業界をリードする2つのモデル

Kunlun Wanwei の「Skywork」Skywork-13B シリーズには、2 つの主要モデルと 150B の高品質中国語データセットが含まれています。

Skywork-13B-Baseは、 Skywork-13Bのベースモデルです。3.2兆の高品質多言語データでトレーニングされており、CEVAL、CMMLU、MMLU、GSM8Kなどの評価およびベンチマークテストで同規模のモデルの中で最高の結果を達成しました。

Skywork-13B-Mathモデルは、数学的機能を強化するために特別にトレーニングされており、GSM8K などのデータセットで同じサイズのモデルの中で最高の結果を達成しました。

Skypile/Chinese-Web-Text-150Bデータセット。このデータセットは、慎重にフィルタリングされたデータ処理パイプラインに従って中国語の Web ページから選択された高品質のデータです。オープンソースデータセットのサイズは約600GB、トークンの総数は約1500億で、現在最大規模の中国のオープンソースデータセットの1つとなっています。

さらに、Skywork-13Bシリーズでは、モデルで使用される評価方法、データ比率の研究、トレーニングインフラストラクチャのチューニングソリューションも公開されました。これらのオープンソースコンテンツが、大規模モデルの事前トレーニングに対するコミュニティの理解をさらに深め、人工汎用知能 (AGI) の実現を促進することを願っています。

5つの主要な機能が他のすべてを凌駕する

崑崙万為の「天工」Skywork-13Bシリーズの大型モデルは、CEVALやGSM8Kなど複数の権威ある評価やベンチマークテストにおいて、同サイズのモデルの中で最高の結果を示しました。特に中国能力が優れており、中国技術、金融、政府関係などの分野でのパフォーマンスは他のオープンソースモデルよりも高くなっています。

Skywork-13Bシリーズモデルの5つの主な特徴:

1. 最強のパラメータ性能：同規模の大型モデルを総合的に上回る

オープンソースの Skywork-13B シリーズ モデルは、CEVAL、CMMLU、MMLU、GSM8K などのいくつかの権威ある評価ベンチマークで LLaMA2-13B などのオープンソースの大規模モデルを上回り、同規模の大規模モデルの中で最高の結果を達成しました。 （10月25日時点のデータ）

2. 最大量のトレーニングデータ：3.2Tの高品質多言語トレーニングデータ

Skywork-13B シリーズの大規模モデルには、130 億のパラメータと 3.2 兆の高品質な多言語トレーニング データが含まれています。モデルの生成、作成、数学的推論機能が大幅に改善されました。

3. 最強の中国語モデリング能力：中国語モデリングの難しさ評価は、すべての中国のオープンソースモデルを上回っています。

Skywork-13Bシリーズの大型モデルは中国語モデリングに優れており、優れた中国文化と創造力を備えています。中国語テキスト作成の評価では、Skywork-13Bシリーズの大型モデルは、特に科学技術、金融、政府関係、企業サービス、文化創造、ゲームの分野で優れた能力を発揮し、業界の他のオープンソースモデルよりも優れたパフォーマンスを発揮しました。

上図は、さまざまな分野のデータにおける評価モデルの難しさを示しています。難しさが低いほど、その分野でのモデリング能力が強いことを示します。結果によると、Tiangong 13B は技術記事、映画、政府レポート、ゲーム、金融、一般分野で優れたパフォーマンスを発揮します。

4. 最大級のオープンソース中国語データセットの1つ：1500億トークンの高品質中国語コーパス

Skywork-13Bシリーズには、現在利用可能な最大規模のオープンソースの中国語データセットの1つである、オープンソースの600GB、150Bトークンの高品質中国語コーパスデータセットSkypile/Chinese-Web-Text-150Bが搭載されます。開発者は、大規模なモデルの事前トレーニング プロセスと技術レポートの経験を最大限に活用し、モデル パラメータを詳細にカスタマイズして、ターゲットを絞ったトレーニングと最適化を実行できます。

5. 最も誠実なオープンソースの商用利用：商用利用を実現するために申請は不要

現在、オープンソースコミュニティにある中国の大型モデルのほとんどは、完全に商用化されていません。一般的に、オープンソースコミュニティのユーザーは、複雑な商用許可申請プロセスを経る必要があります。場合によっては、企業規模、業界、ユーザー数などに関する明確な規制があり、商用許可が付与されないこともあります。

崑崙万為は、Skywork-13Bシリーズのオープンソースの開放性と商業化可能性を重視し、認可プロセスを簡素化し、業界、企業規模、ユーザーなどに対する制限を取り除き、中国の大型モデルに関心を持つより多くのユーザーと企業が業界での探求と進歩を継続できるように支援します。

Skywork-13B シリーズの大型モデルは、商用ライセンスに完全にオープンになります。モデルをダウンロードし、Skywork モデル コミュニティ ライセンス契約に同意して遵守すると、ユーザーは再度許可を申請することなく、大型モデルを商用目的で使用できます。ユーザーが Skywork-13B シリーズの大型モデルの技術的機能をより簡単に探索し、さまざまなシナリオでの商用アプリケーションを探索できるようになることを願っています。

オープンソースエコシステムの繁栄を促進し、より多くの開発者がAIGCの技術開発に参加できるようにし、共創と共有を通じて技術の進歩を促進します。

AI の時代において、活況を呈するオープンソース エコシステムの構築は、AI とアプリケーションの統合を構築する上で重要な要素です。モデルの研究開発の敷居と使用コストを下げ、技術力と経験の共有を最大限に高め、より多くの企業と開発者が AI が主導する技術革命に参加できるようにします。崑崙万為の会長兼CEOである方漢氏は、オープンソースエコシステムの構築に最初に参加したオープンソースのベテランであり、中国のLinuxオープンソースの最も初期の推進者の一人です。オープンソースの精神とAIGC技術の発展は、崑崙万為の戦略に完全に統合されます。

すべてAGIとAIGCで

AGIとAIGCにすべてを賭けるのがKunlun Wanweiの戦略です。

4月17日、崑崙万為は、知能の創発を真に実現した中国初の国産大規模言語モデル「天宮3.5」を発表し、招待テストを開始した。

北京市経済情報局は5月19日、「北京市総合人工知能産業イノベーションパートナープログラム会員リスト」第1弾を発表した。崑崙万為は、AIGC分野における最先端の探査と投資レイアウトにより、最初のモデルパートナーおよび投資パートナーの1つになりました。

8月23日、崑崙万為は中国初のAI検索製品「天宮AI検索」をリリースした。

9月1日、コンピュータービジョンと機械学習の分野で世界トップクラスの専門家であるヤン・シュイチェン教授が正式に崑崙万威に入社し、崑崙万威の創設者である周亜輝とともに天工智能科技の共同CEOに就任しました。教授は崑崙万威2050グローバル研究所の所長も務めており、最先端技術の研究を担当しています。

9月5日、テンセントYoutuラボと厦門大学が実施したマルチモーダル大規模言語モデル評価において、崑崙万為天宮モデルが総合スコア1位を獲得した。

9月25日、崑崙万為は正式にAgitecの経営権を取得し、AIチップの開発を開始した。

今日、Skywork-13B シリーズの大型モデルのオープンソース化は、Kunlun Wanwei が AGI エコシステムへの投資を継続する決意を示しています。