テンセントが独自開発したHunyuanモデルが正式にリリースされ、Tencent Cloudを通じて一般に公開されました。

国産大型モデルはパラメータ優先から実用性優先へとシフトし、長期化期に入っている。

9月7日、2023年テンセントグローバルデジタルエコシステムカンファレンスで、テンセントのHunyuanモデルが正式に発表され、Tencent Cloudを通じて一般に公開されることが発表されました。

テンセント・フンユアン・ラージモデルは、テンセントがチェーン全体で開発した汎用の大規模言語モデルです。パラメータ規模は1000億以上、事前トレーニング済みのコーパスは2兆トークン以上あり、強力な中国語作成機能、複雑なコンテキストでの論理的推論機能、信頼性の高いタスク実行機能を備えています。

テンセントの渾源ビッグモデルは、「実践から生まれ、実践に向かう」実践レベルのビッグモデルであることは注目に値する。テンセントクラウド、テンセント広告、テンセントゲーム、テンセントファイナンシャルテクノロジー、テンセントミーティング、テンセントドキュメント、WeChat検索、QQブラウザなど、50を超えるテンセントの事業と製品がテンセントフンユアンモデルのテストに接続され、初期成果を達成しました。

Hunyuan ビッグモデルは、Tencent Cloud の MaaS サービスの基盤となることが分かっています。顧客は API を通じて Hunyuan を直接呼び出すことができるだけでなく、Hunyuan をベースモデルとして使用して、さまざまな産業シナリオ専用のアプリケーションを構築することもできます。

テンセントグループの上級副社長で、クラウドおよびスマートインダストリーグループのCEOであるトム・トン氏は、「ビッグモデル生成技術を中核とする人工知能は、デジタル開発の次のラウンドの重要な原動力となりつつあり、業界の問題点を解決するための新しいアイデアももたらしています。ビッグモデルは、業界のシナリオに基づき、企業データと統合されて初めて最大の価値を引き出すことができます」と述べています。

長期にわたる努力、自社開発のフルリンク技術

テンセントグループの副社長である江傑氏によると、テンセントのHunyuan大規模モデルは最初のトークンからゼロからトレーニングされており、モデルアルゴリズムから機械学習フレームワーク、AIインフラストラクチャに至るまで、フルリンクの自社開発技術を習得しているという。

テンセントグループ副社長 江傑氏

テンセントは2021年以来、数千億、数兆のパラメータを持つNLPスパース大規模モデルを相次いでリリースし、CLUEリストの3大記録を破り、中国語理解能力の新たな飛躍的進歩を達成しました。

現在、業界における大規模モデルの応用はまだ限られており、主にフォールトトレランスが高くタスクが単純なレジャーシナリオに集中しています。テンセントはアルゴリズムレベルで一連の自社開発の革新を実行し、モデルの信頼性と成熟度を向上させました。

大規模モデルが「ナンセンス」になりやすいという問題に対処するため、テンセントは事前トレーニングのアルゴリズムと戦略を最適化し、主流のオープンソース大規模モデルと比較して、Hunyuan 大規模モデルの幻覚を 30% ～ 50% 削減しました。強化学習法を通じて、モデルはトラップ問題を識別することを学習しました。位置エンコーディングの最適化を通じて、非常に長いテキストの処理効果とパフォーマンスが向上しました。また、新しい思考チェーン戦略を提案し、大規模モデルが人間のように実際のアプリケーション シナリオに基づいて推論し、決定を下せるようにしました。

さらに、テンセントは独自の機械学習フレームワーク「Angel」も開発しており、業界の主流フレームワークと比較してトレーニング速度が1倍、推論速度が1.3倍に向上しています。

テンセント・フンユアン大型モデルフルリンク自社開発

テンセントのHunyuanモデルは、フルリンクの自社開発技術のおかげで、文脈の意味を理解し、長いテキストを記憶する能力があり、専門分野で複数回の会話をスムーズに行うことができます。さらに、文学創作、テキスト要約、ロールプレイングなどのコンテンツも作成でき、ユーザーの意図を完全に理解し、効率的かつ正確にタイムリーな応答を提供します。

中国情報通信研究院の「大規模事前学習モデル技術と応用の評価方法」の標準準拠テストにおいて、Hunyuan 大規模モデルは合計 66 の能力を評価し、「モデル開発」と「モデル能力」という 2 つの重要な領域の総合評価で現在最高得点を獲得しました。主流の評価セットである MMLU、CEval、AGI-eval では、Hunyuan 大規模モデルは、特に中国の科学、大学入試問題、数学において優れたパフォーマンスを発揮します。

上海財経大学の劉元春学長は、「中国は全リンク自主研究の助けを借りて、大型モデルに関連する人材と技術を蓄積し続け、徐々に体系的な産業チェーン、人材チェーン、技術チェーン、イノベーションチェーンを形成し、最終的に汎用人工知能の発展に向けた中国の道を見出し、デジタル技術のイノベーションで画期的な進歩を遂げるのに役立つだろう」と信じている。

テンセントはビッグモデルを全面的に採用

江傑氏は「ビッグモデルを開発する私たちの目標は、評価で高得点を取ることではなく、その技術を実際のシナリオに適用することです。テンセントはビッグモデルを全面的に採用していきます」と語った。

カンファレンスでは、江傑氏がテンセントミーティング、テンセントドキュメント、テンセント広告など複数のビジネスをテンセント渾源ビッグモデルに接続した後の実際の応用を実演しました。

例えば、Tencent Meeting は、Hunyuan Big Model をベースにした AI アシスタントを開発しました。会議情報の抽出やコンテンツ分析などの複雑なタスクを完了するには、簡単な自然言語コマンドのみが必要で、会議後にはインテリジェントな要約議事録を生成することもできます。実際のテストによると、Hunyuan Large Model は、コマンドの理解、会議中の質疑応答、会議の要約、会議の ToDo 項目など、多くの面で高いユーザー採用率を達成しています。

テンセントカンファレンスにおけるテンセントフンユアンモデルの応用

文書処理の面では、テンセントのHunyuanモデルは数十のテキスト作成シナリオをサポートしており、Tencent Docsがリリースしたインテリジェントアシスタント機能にも応用されています。同時に、Hunyuan はワンクリックで標準形式のテキストを生成することができ、数百の Excel 数式に精通しており、自然言語生成機能をサポートし、表の内容に基づいてグラフを生成します。これらの機能は現在内部テスト段階にあり、成熟した後にユーザーに公開される予定です。

広告ビジネスのシナリオでは、テンセントのHunyuan Big Modelはインテリジェントな広告素材の作成をサポートし、業界や地域の特性に適応し、何千人ものニーズを満たし、テキスト、画像、ビデオの自然な統合を実現します。さらに、Hunyuan の大規模モデルの機能に基づいて、インテリジェントなショッピング ガイドを宣伝することで、企業 WeChat などのシナリオで小売業者がサービスの品質と効率を向上させることができます。

テンセント広告におけるテンセント・フンユアン・モデルの応用

テンセントクラウドは今年6月にモデル・アズ・ア・サービス（MaaS）ソリューションを立ち上げ、モデルの事前トレーニング、モデルの微調整、インテリジェントアプリケーション開発などをカバーするワンストップの業界大手モデルサービスを提供しているとのことだ。

最近、Tencent Cloud は Llama 2 や Bloom など 20 以上の主流モデルも完全に統合しました。Hunyuan と同様に、それらはすべて直接展開と呼び出しをサポートしています。お客様は、実際のニーズに応じて、Hunyuan またはオープンソース モデルに基づいて独自の業界ビッグ モデルを構築できます。