自己知能ネットワークに向けた大規模モデル技術の応用展望を探る

OpenAIは2022年11月に会話型大規模言語モデルChatGPTをリリースしました。これは、非常にインテリジェントな人間とコンピューターのインタラクション体験と、非常にクリエイティブなコンテンツ生成機能を提供します。このモデルがリリースされると、世界中から幅広い注目を集めました。 ChatGPTが普及した後、通信メーカー、インターネットメーカー、AIメーカー、多くのスタートアップを含む中国のテクノロジー企業は、ビッグモデルの関連作業に投資し、コンピューティングパワー、プラットフォーム、モデル、アプリケーションなど、さまざまなレベルで包括的なレイアウトとブレークスルーを実現しました。Huawei Pangu、Baidu Wenxin Yiyan、Alitong Yi Qianwen、iFlytek Spark Cognitionなど、業界に影響力を持つビッグモデル製品が数多く登場しました。

通信業界では、ビッグモデル技術が実証した技術的能力と潜在力により、ビッグモデル技術は自然言語処理、コンピュータービジョン、マルチモーダル分野で幅広い応用の見通しを持つだけでなく、通信ネットワークでも大きな潜在力を持ち、通信ネットワークの自己インテリジェンス機能の継続的な向上を促進できると業界では一般的に信じられています。

本稿では、通信業界のインテリジェント開発の課題に対するビッグモデル技術の優位性を分析し、無線通信分野、特に無線通信ネットワークのインテリジェント運用・保守の方向におけるビッグモデル技術の応用を分析します。ビッグモデル技術を背景に、AIGC技術とネットワーク運用・保守のニーズをどのように組み合わせるかに焦点を当て、応用シナリオとモデル構築について説明します。

1. 無線ネットワークAI技術応用の展望と現状

5G無線通信ネットワークの発展に伴い、無線ネットワークのアーキテクチャはますます複雑になり、端末や業務アプリケーションの種類も増加しています。カバレッジの強化、ネットワークリソースの管理、干渉の改善、クロススタンダードとクロスレイヤーの最適化、省エネなどの問題がますます顕著になっています。マルチシナリオ、マルチスタンダード、マルチターゲットなどの問題がますます顕著になっています。各次元の「マルチ」は、ネットワークの構築、運用、ネットワークの最適化に高い課題をもたらします。通信技術自体には、数学的に正確にモデル化したり、従来の方法で効率的に解決したりすることが難しい技術的問題が多数あります。自然言語処理とコンピュータービジョンにおける AI 技術の急速な発展により、近年、通信システムにおける AI 技術の広範な研究と議論が促進されています。現在の研究のホットスポットは次のとおりです。

• ネットワーク管理: システム容量、カバレッジ、障害率、負荷分散、異常検出など、さまざまな側面でのパフォーマンスの最適化。
• コアネットワーク：インテリジェントなサービス品質の定義と割り当て、スライスステータス分析、ユーザーエクスペリエンス分析。
• アクセス ネットワーク: インテリジェントなワイヤレス リソース管理、アクセス制御、およびスケジューリング アルゴリズム。
• ワイヤレス AI アルゴリズムの研究重点: AI ベースのコーディング、変調、多重アクセス、複数のアンテナ、ビーム管理、位置決め、認識、チャネル推定/予測、受信機アルゴリズムなど。

業界における広範な研究と議論[1][2]に基づくと、無線通信ネットワーク、特に無線エアインターフェースへのAI技術の適用には、次のような課題があることがわかります。

• 科学的かつオープンなデータセットの欠如: 業界内のさまざまな機関が異なるデータセットを使用しているため、研究結果を相互に検証することが困難です。
• 無線AIデータとアプリケーションはそれぞれ独自の特徴を持っており、自然言語処理やコンピュータービジョンの分野における最先端のAIアルゴリズムと無線データ、無線分野の専門知識をどのように有機的に統合するかはまだ明らかではありません。
• 無線通信システムの注目すべき特徴の1つは、通信シナリオ（屋内、屋外、高速鉄道など）と業務形態の複雑さと多様性です。限られたコンピューティングパワーを前提として、ワイヤレスAIソリューションをさまざまな通信シナリオと業務形態に適用できるようにする方法は、業界が克服する必要がある重要な課題です。
• ワイヤレス AI のリンクレベルおよびシステムレベルのパフォーマンスの上限はまだ不明です。コンピューティング能力、消費電力、データセット、シグナリングオーバーヘッドなどのコストを考慮すると、従来の専門知識に基づく設計と比較して AI ソリューションがパフォーマンス向上をもたらすかどうかなど、重要な問題に対する体系的かつ科学的な分析と実証がまだ不足しています。これは、ワイヤレス AI の将来の標準化と産業化の前提条件です。

これらの問題により、短期的には無線ネットワークの無線インターフェースレベルでAI技術を実装することが困難になっています。業界では、6G無線AIアプリケーションの議論と実験に重点を置いています。現在、無線ネットワークにおけるAI技術の実際の応用は、主にインテリジェントな運用と保守の分野に集中しています。そのため、この記事では、インテリジェントな運用と保守における大規模モデル技術の応用に焦点を当てています。

5G無線ネットワークのインテリジェントな運用と保守の観点から、ネットワークのパフォーマンスと効率を向上させるために、5G無線ネットワークにAI技術を適用する必要性がますます高まっています。業界では、計画、構築、保守、最適化、運用など、ネットワークインテリジェンスにおいてすでに多数の実用的なアプリケーションが存在します。一方で、5Gネットワ​​ークのアーキテクチャは複雑で、パラメータが多くあります。その一方で、5Gネットワ​​ークでは、サイト環境、ネットワーク環境、ユーザーエクスペリエンス、サービス品質など、ネットワークの展開とリソース割り当てに影響を与える重要な要素を取得することが困難です。AIテクノロジーは、特徴抽出、知覚予測などの点で優位性があります。高度なAIモデルとアルゴリズムを使用して、ワイヤレス環境とサービスエクスペリエンスに対するモバイル通信ネットワークの知覚と予測を解決し、それによってネットワークパフォーマンスとサービス知覚を向上させる方法は、現在の段階で緊急に突破口を開く必要があるタスクになります。

2. インテリジェント運用・保守アプリケーションにおける大規模モデル技術の展望と課題

ChatGPTとその後OpenAIが発売したGPT-4製品から判断すると、大規模モデル技術にはいくつかの重要な技術的特徴がある[3]。

• 知識抽出機能: GPT 製品シリーズは、事実知識や常識を含む膨大な世界知識を保有しています。知識のクエリと検索を提供できるだけでなく、知識を要約して一般化したり、簡単な知識推論や証明機能を提供したりすることもできます。
• 人間の習慣に適合したインタラクション方法: プロンプトに従ってプロンプト語を完成させる文を生成する言語生成方法、コンテキスト学習によって対話の一貫性を維持する方法、人間の意図を理解して自然言語を使用して質問に答え、コンテンツを生成し、問題を解決する方法など、既存の人間とコンピューターのインタラクション方法と人間が世界についての知識を獲得する方法を変えます。
• クロスランゲージおよびマルチモーダルコミュニケーション機能：複数の人間の言語を処理できるだけでなく、画像の内容も理解できるため、人々にさらに便利なコミュニケーションを提供します。さらに、人間の言語を機械言語に翻訳できるため、人間、機械、オブジェクトの3つの世界の統合を促進します。
• 自己学習と自己進化の能力：膨大なデータと人間の指示から世界の知識を自動的に学習できます。学習プロセスには人間の介入は必要ありません。学習結果を自ら確認し、継続的に最適化と反復を行い、学習した知識を柔軟に適用して実際の問題を解決できます。

ビッグモデル技術の技術的特徴に基づくと、ビッグモデル技術は、無線通信のインテリジェントな運用および保守アプリケーションにおいて、以下の点で明らかな技術的利点を持っています。

• モデルプラットフォームの統一の問題：AI技術を通信に応用する観点から見ると、シナリオの多様性と要件の複雑化という問題に直面しています。タスクは多様であり、タスクごとにデータ要件が異なります。モデル応用の観点から見ると、異なるタスクに対して統一された評価目標を定義することが難しく、シナリオ要件ごとに異なるAIモデルが必要となり、業界の「大規模モデルの洗練」という状況につながっています。ビッグモデル技術は、さまざまな自然言語処理タスクを処理できます。同様に、ビッグモデル技術をさまざまなインテリジェント運用および保守タスクに適用して、統一されたモデルプラットフォームを構築できることを期待しています。
• データセットのソースが複数ある問題: データセットの観点から見ると、通信業界は大量のネットワークデータを持っていますが、データソースとデータ形式は多様です。これまでの AI アプリケーションの観点から見ると、データのクリーニング、スクリーニングなどの処理は非常に労働集約的なタスクです。ビッグモデル技術は、事前トレーニングプロセス中にさまざまなソースからのデータセットを使用し、マルチモーダルデータを処理する機能を備え、データパターンや分布との互換性が高く、微調整などの技術を通じてマルチソースデータの問題に簡単に対処できます。
• 機能移行機能：ビッグモデル技術は強力な知識抽出機能を備えており、アラームの根本原因分析や干渉識別など、多数のインテリジェント運用および保守タスクを知識抽出タスクに分類できます。ビッグモデル技術には、翻訳タスクなど、自然言語処理におけるシーケンス変換タスクが多数あります。ユーザーエクスペリエンスとネットワーク環境に基づくワイヤレスネットワークのネットワーク最適化には、ユーザーの認識をネットワークKPIにマッピングしたり、ネットワークKPIをデバイスステータスに関連付けたりするなどの要件があります。これらの要件は、シーケンス変換タスクと同様の方法で解決できます。
• モデルの増分学習と進化: 機械学習モデルは、データ分布が定常であると想定します。つまり、同じ分布のデータを使用してトレーニングされます。しかし、無線ネットワークにおけるサービスの種類やユーザートラフィックが増加し続けるにつれて、ネットワークの状態も絶えず変化し、モデルが継続的に増分学習を実行できることが求められます。大規模モデル技術の自己学習機能と進化機能は、ネットワークの継続的な最適化要件に非常に適しています。

通信業界向けの大規模モデルを構築する場合、業界のデータを活用して大規模モデルを継続的に微調整または再トレーニングし、モデルの専門性を向上させる必要があります。業界データの観点から見ると、通信業界は標準化されたシステムアーキテクチャに基づく高度に標準化されたデジタル専門分野であり、大量の履歴データを蓄積しており、シナリオ業務の分類とデータ処理を通じて、大規模で多様で高品質の効果的なトレーニングデータセットに変換できます。業界データの観点から、業界ビッグモデルを構築するための必要な条件を備えています。

図1 通信分野におけるデータの優位性

ワイヤレス ネットワークにおける大規模モデル テクノロジの応用の見通しは広いものの、次のような特定の問題や課題がまだ残っています。

• データ品質要件: 大規模モデルのトレーニングの観点から見ると、モデルのパフォーマンスにはデータに対する比較的高い品質要件があります。メーカーやドメイン間でデータ品質の一貫性をどのように確保するかは、通信ネットワークにおける大規模モデル技術の応用に影響を与える重要な問題になります。
• 信頼性要件：現在の大規模モデルのパフォーマンスから判断すると、高い信頼レベルを達成することは不可能であり、「深刻なナンセンス」という現象があります。通信ネットワークの場合、信頼性の要件はインターネット上の GPT 製品のアプリケーション要件をはるかに超えています。無線通信システムの元の技術に基づいて、モバイル ネットワーク データと専門家の経験に基づく大規模モデル技術の信頼性をどのように向上させることができるでしょうか。
• 小型化の要件: ワイヤレス ネットワークに適用する場合、大型モデルをどの程度小型化できるか?モデル蒸留などの技術によってモデルのサイズが縮小された後、その信頼性と移植性は運用要件を満たすことができますか?大規模なモデルを重ね合わせた後は、計算能力、パフォーマンス、コストなどの全体的なメリットを考慮する必要があります。
• セキュリティ要件: 大規模なモデル自体には、データ セキュリティ漏洩のリスクがあります。セキュリティとプライバシーの問題をどのように解決しますか?

3. ビッグモデル技術に基づくインテリジェント運用保守プラットフォームの構築に関する議論

大規模モデル技術については、まずインテリジェントネットワークの3層アーキテクチャに基づいて技術的な分解を行います。ビッグモデルを統一された技術基盤と見なし、機能モジュールの汎用性を向上させ、異種単一モジュールの設計上の欠点を機能モジュールのコア統一に変え、統一されたモデルトレーニングとモデル配布を形成して、モデルの移植性と信頼性を向上させ、統一された評価モデルを形成して、異なるメーカーと異種ネットワークの相互接続と相互運用性を促進します。

図2 インテリジェントネットワークアーキテクチャとソリューション

ビッグモデル技術のインテリジェント運用・保守への応用については、インテリジェント運用・保守ではログ自体が自然言語に似た一種のテキストであることを考慮すると、ビッグモデル技術を使用してログテキストの理解を高めることができ、事前トレーニングと指示学習を使用して、マルチシナリオのタスク要件に基づく統一されたプラットフォームフレームワークを確立することができます。アプリケーションシナリオでは、異常検出を例にとると、ログが解析され、テンプレートに従ってデータが構築され、大規模なモデル技術プラットフォームを使用してログ分析が実行され、アラーム圧力低下、異常検出、障害予測、診断などの関連タスクが実行されます。図3は、警報圧力低下シナリオにビッグモデル技術を使用した場合の効果を示しています。警報データと専門家の経験に基づいてトレーニングセットが構築され、警報ログが警報圧力低下のビッグモデルにインポートされます。データは専門家のルールデータに基づいて検証され、効果は良好であり、ビッグモデル技術がログの理解、分析、マイニングに大きな応用可能性を持っていることを示しています。

図3 警報電圧降下アプリケーション例

LangChain 技術フレームワークを活用し、インテリジェント運用と保守のシナリオ タスクとアプリケーション要件を考慮して、大規模モデル技術に基づくインテリジェント運用と保守のプラットフォーム フレームワークには、主に次のコンポーネントが含まれます。

• ログ データ: データのクリーニング、特徴の抽出、データの正規化など、ネットワーク管理データを前処理して、後続の分析とモデリングを容易にします。
• ベクトルデータベース: 対応する分類とテンプレートに従ってログデータを処理し、適切なベクトル表現方法を使用して、処理されたログデータをベクトルに変換します。効率的なデータストレージと高速なインデックス作成、およびデータの更新を考慮する必要があります。
• プロンプト テンプレート: プロンプトの目標とシナリオを決定し、思考連鎖 (CoT) テクノロジを組み合わせて、目標とシナリオに関連するコンテキスト情報を収集します。収集したコンテキスト情報に基づいて、さまざまなタスクのプロンプト コンテンツを含む適切なプロンプト テンプレートを設計します。パーソナライズされたカスタマイズを特定のアプリケーション シナリオと組み合わせ、ネットワーク開発のさまざまな段階のパフォーマンス要件に応じてプロンプトをさらに調整およびカスタマイズします。プロンプトの効果とアプリケーション フィードバックを監視、分析し、継続的に更新します。
• ナレッジ グラフ: インテリジェントな運用と保守の分野では、専門家の経験を活用してナレッジ グラフを構築することで、システムがその分野の専門知識をより深く理解し、適用できるようになります。専門知識の収集、知識の抽出と表現、知識のモデリング、知識の融合、知識の検証などのステップを経て、知識グラフが構築され、さまざまなシナリオやタスクに対応するインテリジェントな運用保守システムに適用されます。
• 大規模モデル プラットフォーム: まず、シナリオと目的に基づいて適切な大規模モデル プラットフォームを選択する必要があります。次に、ログ データを使用してモデルを微調整または再トレーニングし、インテリジェントな操作と保守におけるモデル プラットフォーム アプリケーションの専門性を確保します。さらに、計算能力、パフォーマンス、コストなどの総合的な要素を考慮して、モデルの効率を向上させるために、量子化、圧縮、その他の最適化プロセスによってモデルを最適化する必要があります。
• インテリジェントエージェント：アプリケーションインターフェースとして、ベクトルに格納されたログデータ、プロンプトテンプレート、ナレッジグラフを使用してタスクを分解し、対応するコンテキスト情報を構築し、適切なログ抽出とプロンプト構築を実行し、専門知識、専門アプリケーション、大規模モデルプラットフォームを総合的に活用して、タスクの目標とシナリオに応じて関連タスクを実行します。

図4 インテリジェント運用保守プラットフォームフレームワーク

4. インテリジェント運用保守プラットフォームにおけるビッグモデル技術の応用

研究課題は、ネットワーク AI ビッグモデルがサポートするシナリオとタスクの研究、ネットワーク AI ビッグモデルの効率的な統合ソリューションの研究、ネットワーク AI ビッグモデルの有効性評価システムの研究など、インテリジェントな運用と保守におけるビッグモデルの応用に重点を置いています。現段階では、大規模なモデル技術基盤を活用してマルチタスク統合フレームワーク プラットフォームを構築し、アプリケーションの検証を行うことに重点が置かれています。

ChatGLM2-6B基本大規模モデルをベースに、P-Tuning v2メソッドを使用して微調整トレーニングを行い、大規模モデル技術の推論能力を検証しました。根本原因分析と異常検知は運用保守において最も基本的かつ重要な機能であることを考慮し、根本原因分析と異常検知を3つの単一タスクモデルとして使用して検証を行いました。テスト評価結果は次のとおりです。

さらに、さまざまなタスクトレーニングデータを入力し、微調整トレーニングを通じて混合タスクモデルを取得し、そのモデルに対してマルチタスク推論テストを実行します。テスト評価結果は次のとおりです。

検証結果から判断すると、ビッグモデル技術に基づく単一タスクのパフォーマンスは、従来の技術と比較して大幅に向上しています。マルチタスクハイブリッドモデルの場合も、ビッグモデル技術は非常に優れたパフォーマンスを示しており、ビッグモデル技術に基づく統一プラットフォームフレームワークを確立できることを示しています。今後の作業では、より大規模なモデルを試行し続け、最適化手法を微調整して既存のタスクのパフォーマンスを向上させ、より多くの混合タスク評価とパフォーマンス改善を実施して、マルチタスク統合フレームワークプラットフォームの実現可能性を十分に検証し、Long Chainプラグインネットワーク管理と運用保守の専門知識ベースを使用してAI Agentインテリジェントエージェントを構築し、運用保守自動化の飛躍的な改善を実現することを検討します。

本稿では、ビッグモデル技術に基づくインテリジェントな運用保守プラットフォームの構築に関する応用シナリオとプラットフォームフレームワークを予備的に検討し、分析と応用の試みを行っています。ビッグモデル技術は、無線ネットワークのインテリジェントな運用保守の分野で幅広い応用の見通しを持っていると信じる理由があります。ネットワークのインテリジェンスと自動化レベルを向上させることで、ネットワークの信頼性、パフォーマンス、ユーザーエクスペリエンスを大幅に向上させることができます。

参考文献:

• 「6G物理層AI主要技術ホワイトペーパー」中国移動通信株式会社研究所2022年。
• 「6Gワイヤレス内在AIアーキテクチャとテクノロジーホワイトペーパー」中国移動通信株式会社研究所2022年。
• 「AIGC (GPT-4) 通信業界向けアプリケーションの強化に関するホワイトペーパー」、AsiaInfo Technologies、清華大学インテリジェント産業研究所、2023年。