テンセントクラウドのオーディオとビデオのAI技術は、超高速高解像度ワールドカップライブ放送の「舞台裏のヒーロー」です

[オリジナル記事は51CTO.comより] あっという間にワールドカップが終わりに近づいています。サッカーを観るかどうか、サッカーを理解しているかどうかに関係なく、これはワールドカップ中に常に話題になる。これまでのワールドカップを振り返ると、ファンがワールドカップの美しさ、情熱、そして汗をよりリアルに感じられるよう、新たなテクノロジーが活用されてきました。今年のワールドカップは、クラウドコンピューティングや人工知能などの新しいテクノロジーのサポートに引き続き依存しています。たとえば、従来のテレビ生放送から、オンライン生放送用の新しいメディアプラットフォームの使用へと変更されています。

5月末、中国中央ラジオテレビはワールドカップの新たなメディア著作権を配布することを決定した。鮮明でスムーズなライブ放送効果を実現するために、CCTV は最終的に Tencent Cloud を選択し、超高速の高解像度ライブ放送技術サポートを提供しました。ワールドカップのライブ放送、CCTV.com、CCTVの音声と映像の鮮明さと滑らかさは、多くの人々に深い印象を残したはずだと私は信じています。では、Tencent Cloud は高解像度のライブ放送の背後でどのような新しいテクノロジーを使用したのでしょうか? CCTV はなぜ Tencent Cloud を選んだのでしょうか?

スポーツ中継の課題：鮮明さと滑らかさ

これまで、視聴者はワールドカップをテレビでしか観ることができず、映像が止まったり不明瞭になったりすることはほとんどなかった。ただし、オンライン ライブ ストリーミングはライブ TV ストリーミングほど安定していません。ネットワーク帯域幅などの要因により、画像がフリーズしたり、オーディオとビデオのタイムスタンプが非同期になる可能性が高くなります。

通常、スムーズなビデオ視聴を実現するために、ユーザーはビデオのビット レートを下げ、スムーズ品質または標準解像度品質を選択してビデオを視聴する必要があります。しかし、ワールドカップのような重量級のイベントでは、これは明らかに観客や生放送局が望んでいる結果ではない。実際、ビデオはインターネット上で最も帯域幅を消費するコンテンツ形式です。ビデオの高周波モーション イメージの鮮明さと滑らかさを実現することは、インターネット スポーツ イベントのライブ ブロードキャストにとって常に最大の課題でした。

では、ライブ放送の品質とユーザーへの画像の鮮明さをどのように確保できるのでしょうか? Tencent Cloud はそれをどのように実現しているのでしょうか?

[[236416]]

Li Haiqi、Tencent Cloud シニアプロダクトマネージャー

先日開催されたテンセントクラウドメディアサロンで、テンセントクラウドのシニアプロダクトマネージャーである李海奇氏は次のように述べた。「ビデオ会社にとって、帯域幅の支出は運用コストの大きな部分を占めています。ユーザーに高解像度のビデオ体験を提供したい場合、ビデオストリームのビットレートを上げる必要があり、対応する帯域幅の総コストもさらに増加し​​ます。Tencent Cloud Ultra HDはこの問題を解決し、より低いビットレートでより高解像度のビデオをユーザーに提供できます。」

CCTVのワールドカップ生中継を支える技術 - テンセントクラウドの超高速HD

李海奇氏は記者団に対し、通常のトランスコーディング技術には、トランスコーディングの歪み、低解像度のぼやけ、レンズのジッター、高ノイズ、低ビットレートのギザギザのブロックなど、多くの品質上の問題があると語った。これらは、トランスコーディング プロセス全体で対処する必要がある基本的な問題です。

Tencent Cloud の超高速 HD テクノロジー (「インテリジェント ダイナミック エンコーディング テクノロジー」とも呼ばれる) は、主に機械学習を使用して、ビデオ シーンのインテリジェント分類、エンコーディング パラメータのマッチング、前処理、ダイナミック エンコーディングの最適化、インテリジェント ビット レート制御、ディテールの削減、ROI 処理などのテクノロジーとプロセスを通じてライブまたはオンデマンドのビデオ ストリームをインテリジェントに処理し、最適なエンコーディング パラメータに一致させることで、より低い帯域幅コストでより高解像度のライブ ビデオ ストリームをユーザーに提供します。

この技術は、ビデオソースのビットレート、フレームレート、解像度、テクスチャ、モーション変化の振幅、および総合的なマシン負荷と画質を組み合わせたシーン分類に基づくリアルタイムの認識結果に基づいて、最適なエンコードパラメータを選択します。同時に、画質処理の面では、さまざまなシーンに応じて画像を分類し、ビデオソース画像のテクスチャとリアルタイムのモーション検出結果を組み合わせて、シャープ化、ソフトブラー、デインターレース、デブロッキング、ノイズ低減、色レベル補正、フレーム削減などの前処理を実行できます。

テンセントクラウドの超高速HDテクノロジーは、主にシーンインテリジェント認識、ビデオダイナミックエンコーディング、ビデオエンハンスメントの3つのモジュールを通じてライブビデオストリームのインテリジェントエンコーディングを実現すると報告されています。

インテリジェントなシーン認識の面では、超高速高解像度技術サービス中に、ライブストリームをリアルタイムで検出および分析し、対応するシーンモデルをマッチングすることができます。ビデオ ストリームに基づいてライブ ビデオ シーンを識別し、それがスポーツ イベントであるかどうか、また、そうである場合は、サッカー、バスケットボール、テニスのいずれであるかを識別します。同時に、個々のシーンに対してもインテリジェントな認識が採用されています。例えば、サッカーの試合では、クローズアップなのか、ロングレンジのショットなのか、シュートなのかなどをリアルタイムで識別する必要があります。そして、シーン分類のリアルタイム認識結果に基づいてビデオが動的にエンコードされます。まず現在の基本的なエンコーディング ライブラリを一致させ、次にリアルタイムのモーション シーンに応じて次のより詳細なエンコーディング ライブラリを一致させます。 ***、ビデオ強化を実現します。視聴者の注目の重要な領域は強化され、重要でない領域は弱まります。たとえば、観客エリアや看板エリアが弱まる可能性があります。

CCTV が Tencent Cloud を選んだのはなぜですか?

CCTV は、ビデオ クラウド業界全体が非常に重視する顧客であり、すべてのクラウド ベンダーにとっての戦場です。今回のワールドカップの前に、CCTV がワールドカップ中の試合の鮮明度を向上させるために新しいテクノロジーを導入することを決定した後、さまざまなクラウド サービス プロバイダーが独自のソリューションを提供しました。

Tencent Cloud は、レート制御、ぼかし除去、ブロック解除、インターレース解除、モーション検索、ブロック決定などのモジュールで数十件のサービスアップグレードと最適化を実施しました。数々の競争を経て、CCTV.com は最終的に Tencent Cloud を選択しました。同じ解像度1024*576、フレームレート25で、Tencent Cloudの超高速HDテクノロジーは887kbpsという低いビットレートを実現しますが、他の2つのクラウドサービスプロバイダーのビットレートは963kbpsと941kbpsです。 VMAF モデルはビデオ品質を評価するために使用されます。Tencent Cloud のビットレートは競合他社よりも約 8%～10% 低くなっています。

「ワールドカップ開幕戦中、さまざまな生放送で頻繁に問題が起きたが、CCTV VideoはTencent Cloudの超高速高解像度技術のサポートにより、一挙に評判の逆転を達成した」とTencent Cloudの上級エンジニア、Lu Lin氏は述べた。

[[236417]]

テンセントクラウドのシニアエンジニア、ルー・リン氏

ワールドカップの生中継をサポートした経験について、盧林氏は「実は今年の春節の時点で、テンセントクラウドはワールドカップのゲームシナリオのディープラーニングをすでに開始していた」と語った。今年の春節以降、テンセントクラウドの超高速HDサービスはいくつかの主要なゲーム生中継プラットフォームに接続し始め、良いフィードバックを得ている。

これまで、Tencent Cloud の Web クローラーは 500 本以上のサッカー試合のビデオをクロールしていました。私たちは、各ゲームビデオの高速モーションシーンでの視覚効果分析と最適化効果評価、サッカーの追跡モデルのトレーニング、ロングショットの最適化、素晴らしいリプレイのための ROI 領域の拡張、観客の表情のキャプチャなどの詳細を実施し、最先端の動的エンコーディング モデルを実現します。

テンセントクラウドは、ワールドカップ前に、中国スーパーリーグやプレミアリーグの試合で、Longzhu LiveやNew England Sportsに超高速HDサービスを宣伝し、構築したAIモデルのトレーニングを開始していた。彼らは、中国スーパーリーグとプレミアリーグの間には多くの違いがあることを発見した。中国スーパーリーグの試合ペースはプレミアリーグよりも遅いため、さまざまなモデルに合わせてより的を絞った調整が必要になります。

ワールドカップのペースは、中国スーパーリーグとプレミアリーグの中間くらいですが、プレミアリーグの速いペースに近い傾向があります。そのため、ワールドカップ期間中は、ワールドカップのイベントとの一貫性を高めるために、以前の AI モデルを一致させました。

さらに、すでに時間が迫っていたワールドカップ前夜に、テンセントクラウドは新たな民営化計画を打ち出し、CCTV.comに完全なテンセントクラウド超高速高解像度トランスコーディングクラスターを設置し、ワールドカップ期間中のCCTV.comのCCTV5チャンネルの生放送、RTMP/FLVプッシュおよびプルソースストリームをサポートし、トランスコーディング処理後のCCTV RTMP/FLV/HLSプルストリームをサポートしました。

最後に、ワールドカップの開始前に、Tencent Cloud は顧客のハードウェア デバイスとソフトウェア コード モジュールのさまざまな適応要件に対応しました。現在、このプランのすべてのサービス指標は正常であり、流出効果は予想を上回り、放送効果は他のプラットフォームと比較して明らかな優位性を持っています。

AI対応のオーディオとビデオ、非常に高速で柔軟性が高い

記者は、テンセントクラウドの超高速HD技術が、テンセントクラウドのオーディオおよびビデオAIソリューションの最も重要な機能の1つであることを知りました。

少し前、2018年のTencent Cloud「Cloud + Future」サミットで、ゲームライブストリーミング業界が直面しているコストと技術的な問題を解決するために、Tencent CloudはオーディオとビデオのAIソリューションであるMing​​mouをリリースしました。オーディオとビデオの技術とAI人工知能の組み合わせによって、どのような火花が生まれるのでしょうか？Tencent Cloud Mingmouの能力がその最良の証拠です。

Tencent Mingmou は、ビデオシーンの種類をインテリジェントに判断し、さまざまな種類のビデオの処理を最適化して、より低い帯域幅でより高解像度の視聴体験をユーザーに提供します。テンセントビデオクラウドはAIを十分に理解していると言えます。テンセントミンモウは、超高速HD、インテリジェントモーションエフェクト、インテリジェント編集、インテリジェント字幕の4つのコア機能をカバーし、汎娯楽ライブブロードキャスト、オンラインビデオ、ショートビデオ、ラジオとテレビのニューメディアなど、ビデオ業界チェーン全体をカバーできます。具体的な実装面では、ナローバンドHD、スーパー解像度、ダイナミックコーディング、ボディランゲージ認識、スマートペンダント、スキンビューティー、ポートレート検索、スマートカバー、スマートタグ、音声認識、リアルタイム翻訳、ミックスストリーム出力など、複数のアプリケーションシナリオでAIテクノロジーを十分に反映できます。

その中で、超高速HDサービスはAI技術を利用して、Mingmouがビデオシーンの種類をインテリジェントに判断できるようにします。同じビデオ内の異なるセグメントに対して、完全に異なるIBPフレームタイプ、量子化パラメータQP、解像度などのエンコードパラメータを適用し、ビデオ品質を低下させることなくビデオビットレートを下げようとし、CDN帯域幅を削減します。

Tencent Cloudは、ビデオ分野におけるテンセントの長年のリソースと技術の蓄積に依存し、企業に技術サポートを提供するだけでなく、企業とのリソース協力も実現するビデオクラウドエコシステムを構築し、トップライブブロードキャスト会社の80％の成長を支援しています。 「クラウド+未来」サミットで、テンセントクラウドは新しいオーディオおよびビデオAIソリューションとTencent-RTCを発表し、エコシステムがさらに改善され進化しました。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]