「天宮2.0」MoE大型モデル発売

2月6日、崑崙万為はMoE大規模言語モデルの新バージョン「天宮2.0」と「天宮AIスマートアシスタント」アプリの新バージョンを正式にリリースした。これはMoEアーキテクチャを搭載し、すべてのCエンドユーザーに無料で公開される、中国初の数千億のパラメータを持つ大規模言語モデルを備えたAIアプリケーションである。本日より、ユーザーは各種モバイルアプリストアから「天宮AIスマートアシスタント」アプリをダウンロードし、崑崙万威の「天宮2.0」MoE大型モデルの優れた性能を体験できます。

「天宮2.0」は、昨年4月に崑崙万為がデュアル1000億レベルの大規模言語モデル「天宮」を発表して以来、最大のバージョンアップとなる。業界トップのMoEエキスパートハイブリッドモデルアーキテクチャを採用し、複雑なタスクへの対応力が強化され、モデルの応答速度が速くなり、トレーニングと推論の効率が高くなり、スケーラビリティも強化された。

このアップデートでは、AI検索、会話、読み取り、作成の回答品質と応答速度が全面的に向上しました。強力なマルチモーダル機能を備え、絵文字会話やテキストから絵への変換などのマルチモーダルアプリケーションをサポートし、最大100K（15万字以上の漢字）の超ロングコンテキストウィンドウをサポートし、AIペイント、データ分析、AIコンパニオン、AI占い、ホットストーク百科事典など、多くの新しいゲームプレイを追加し、AIをよりスマートに、より実用的に、より面白くし、すべての人の日常生活における万能AIアシスタントになります。

崑崙万為は、人工知能モデルアルゴリズムの革新と開発に注力しており、汎用人工知能技術の最先端を常に探求しています。崑崙万為は、デュアル1000億レベルの大規模言語モデル「天宮」と教育専門家のハイブリッド大規模モデル「天宮2.0」のほか、「天宮」シリーズの大規模モデルを中心に、数百億レベルのオープンソース大規模言語モデルシリーズ「天宮Skywork-13B」、AIエージェント開発プラットフォーム「天宮SkyAgents」、マルチモーダル大規模言語モデル「天宮Skywork-MM」などの最先端のAI製品も発表しており、AI大規模モデル、AI検索、AI音楽、AIストーリー、AIゲームなどを含むAIビジネスマトリックスを徐々に構築しており、モデル技術とエンジニアリング能力が最も強く、レイアウトが最も包括的な国内人工知能大規模モデル企業の1つです。

環境省：世界をリードする大型モデルコア技術の道

MoE（Mixture-of-Experts）は、現在の大規模言語モデル分野における最も先進的な基盤アーキテクチャであり、大規模モデルにおける世界最先端の中核技術パスの一つです。

2023年6月以来、崑崙万為はMoEアーキテクチャ技術の最先端に関する研究開発探究を継続的に実施し、 MoEアーキテクチャを搭載し、すべてのCエンドユーザーに無料で公開される、数千億のパラメータを備えた大規模言語モデルを備えた国内初のAIアプリケーション「天宮AIスマートアシスタント」アプリのリリースに成功しました。

「天宮AIインテリジェントアシスタント」は、クンルンワンウェイの「天宮2.0」MoE大規模モデルをコア技術エンジンとして使用しています。その技術原理は、複雑な大規模モデルタスクを複数のより小さく細分化されたサブタスクに分解することです。各サブタスクは、垂直分野のエキスパートモデルによって処理されます。その結果、クンルンワンウェイの「天宮2.0」は、モデルのトレーニングと推論のパフォーマンスと効率を大幅に向上させるだけでなく、複数の垂直分野の知識の統合も実現し、モデルがさまざまなアプリケーションシナリオの複雑な問題をよりよく理解して処理し、ユーザーに正確で包括的な回答を提供できるようになります。

同時に、崑崙万為の技術チームは一連の的を絞ったMoE技術研究開発を実施し、多くの研究開発とトレーニングリソースを投入した後、モデルの非収束や特定のタスクの汎化効果の低さなど、MoE業界全体を悩ませてきたコアパフォーマンスの問題を解決し、「天宮2.0」のモデルパフォーマンスを大幅に向上させました。

モデルのパフォーマンスはより強力で高速になり、アーキテクチャはより柔軟になりました

「天宮 2.0」の技術的リーダーシップは、その中核となる MoE アーキテクチャの優れた利点に反映されています。 MoE アーキテクチャは、主にゲーティング モデル/ルーターとエキスパート モデルのグループで構成されています。ゲーティング モデル/ルーターにデータが入力されると、システムはタスクの種類に応じて各トークンを 1 つ以上のエキスパート モデルに割り当てます。これにより、各エキスパート モデルはデータのその部分の処理に集中でき、モデル全体のパフォーマンスが向上します。

従来の大規模モデルアーキテクチャと比較して、「Tiangong 2.0」には次の利点があります。

複雑なタスクへの対応力が強化： 「天宮 2.0」MoE モデルは、複数のエキスパート モデルを統合しています。各エキスパート モデルは、異なるデータ分布と構築モードに合わせて構築できるため、さまざまなサブフィールドでの大規模モデルの専門能力が大幅に向上します。全体的なモデルは、各エキスパート モデルの出力結果を統合し、「天宮 2.0」が複雑なタスクやマルチモーダル タスクを処理する際のパフォーマンスを大幅に向上させます。

より高速で効率的: MoE モデルの推論および計算プロセス中にアクティブ化される特定のエキスパート モデルは少数だけであるため、同じパラメータ スケールの密なモデルと比較すると、「Tiangong 2.0」MoE モデルは非常に高いスパース性を示し、より高い推論および計算効率を実現し、ユーザーはより高速な AI 応答速度を実現できます。

柔軟性、多様性、拡張性の向上：一方では、モデルのスパース性により、「天宮 2.0」は計算量を増やすことなくモデル規模を大幅に拡大し、同じコンピューティング リソースでより強力なモデル パフォーマンスを得ることができます。他方では、「天宮 2.0」はエキスパート モデルの数を増やし、エキスパート モデルの重み付け比率を調整することで、モデルの拡張性を大幅に向上させ、より柔軟で多様性があり、拡張性の高い新時代の大規模モデルを構築できます。

「天宮AIスマートアシスタント」アプリが全面アップグレード

「天宮AIスマートアシスタント」アプリは、崑崙万威が自社開発した「天宮」シリーズの大型モデルをベースに構築されており、検索、チャット、書き込み、描画が可能なAIスマートアシスタントです。強力な自然言語処理とインテリジェントなインタラクション機能を備えており、パーソナライズされたAI検索、インテリジェントな質疑応答、AIペイント、チャットインタラクション、テキスト生成、コード作成、言語翻訳などのアプリケーションシナリオを実現でき、豊富な知識の蓄積があります。

「天宮2.0」モデルの大幅なアップグレードに合わせて、「天宮AIスマートアシスタント」も全面的なバージョンアップデートを迎えました。

強力なマルチモーダル機能： 「天宮AIスマートアシスタント」が採用しているマルチモーダル大規模モデルは、統合開発戦略に基づいています。ベースモデルに基づいて深く開発および最適化されており、マルチ解像度ビジュアルエンコーダーと強力な言語ベースモデルを導入し、あらゆるサイズの画像入力と複雑なユーザーコマンドをサポートできます。

新バージョンの「Tiangong AI Intelligent Assistant」は、強力なマルチモーダル大規模モデル機能のサポートにより、優れた視覚理解、推論、コマンド追従機能を備え、画像とテキストの対話、画像とテキストの作成、知識の質疑応答など、さまざまなユーザーニーズを満たすことができます。同時に、モデルの優れた理解能力のおかげで、新バージョンの「天宮AIスマートアシスタント」によって生成される画像は、コンテンツの豊富さ、洗練度、画質の点で優れています。

同時に、「天宮AIスマートアシスタント」は強力なマルチモーダル機能のサポートにより、画像とテキストによる回答を生成することもできるため、ユーザーは「かたつむり麺の作り方は？」「ギターで『米の香り』を弾くには？」「2024年の春節休暇の手配は？」などの質問をすることができます。画像/動画によるアシスタントプレゼンテーションを受けることができ、AIの回答はより直感的で内容が豊かになります。

10万の超長コンテキストウィンドウをサポート： 「Tiangong AI Smart Assistant」の超長コンテキストウィンドウ技術は、10万のネイティブテキストに基づいてトレーニングされており、最大10万（15万以上の中国語文字）のテキスト会話をサポートし、拡張技術により20万の超長文書理解をサポートできます。 InfiniteBench評価では、「Tiangong」シリーズの大型モデルが多くの指標で世界1位となり、10の指標の平均スコアは47.5ポイントで、Claude2を上回り、GPT4-128kの52.6ポイントに迫りました。

超長コンテキスト モデルの「干し草の山の中の針」テストでは、研究者は膨大なドキュメント セットに特定の情報を挿入し、そのドキュメント セットに質問して、モデルが「膨大なテキストの海」から正しいキー情報を見つけられるかどうかを調べ、長いコンテキスト情報を抽出するモデルの能力を検証します。 「干し草の山の中の針」テストでは、「Tiangong」モデルは 100% 正しい結果を達成しました。

より正確に検索し、より良く書き、より速く読む：「天宮AIインテリジェントアシスタント」の新バージョンは、より強力なキーワードとセマンティック分析機能を備え、ユーザーのタスク要件をより正確に識別します。AI検索、対話、読み取り、作成などのさまざまなアプリケーションシナリオで、ユーザーのさまざまなニーズに基づいて、より正確で具体的な回答とフォローアップの提案を提供できます。同時に、「天宮AIインテリジェントアシスタント」の新バージョンでは、AI検索品質、セキュリティ機能、回答の豊富さがさらに向上しました。

例えば、「天宮AIスマートアシスタント」では、ユーザーは「AI読み取り」機能を使用して、文書の内容を素早く要約したり、文書の内容の詳細について質問したりして、迅速かつ正確で具体的な回答を得ることができます。

豊富で興味深いAIエージェント： 「天宮AIスマートアシスタント」の新バージョンには、AIペイント、データ分析、AIコンパニオン、AI占い、ホットストーク百科事典など、いくつかの公式AIエージェントが追加されました。検索、チャット、書き込み機能に加えて、「天宮AIスマートアシスタント」は、より興味深く実用的な新しいゲームプレイを追加し、AIGCテクノロジーの応用限界を常に探求し、すべての人の日常生活に欠かせないオールラウンドAIアシスタントになりました。

2月8日から、崑崙万為が主催する「賢く龍年を描く」AI絵画コンテストも「天宮AIスマートアシスタント」アプリで開始される。ユーザーはアプリの「AI絵画」機能を使用して絵を描き、イベントエリアに提出すると、最大10万人民元の賞金を獲得するチャンスがある。

これは中国初のAI絵画コンテストであり、すべてのCエンドユーザーが無料で参加でき、賞金総額は数十万元です。 「天宮」シリーズの大型モデルの優れたマルチモーダル技術能力により、高度なテキスト意図認識により、ユーザーは創造性を最大限に発揮し、豊富なコンテンツ、精巧なディテール、高度な美学を備えたパーソナライズされた AIGC 画像を描くことができます。

崑崙万為は、「汎用人工知能を実現し、誰もがより良く自分を形作り、表現できるようにする」という企業使命を常に堅持し、あらゆる分野における大型モデル技術の応用と学習の敷居を継続的に下げ、協力して未知の世界を探求し、技術の未来を創造しています。