Huyaは人間とシーンの分離技術を使用して、顔を覆わずにスマートな弾丸スクリーンを作成します

【元記事は51CTO.comより】 「(段)幕」という言葉はシューティングゲームから生まれたもので、弾幕サイトもこれに由来しています。ニコニコ動画サイトは比較的早くから弾幕機能を搭載したサイトです。その後、弾幕ウェブサイトは、その反響、操作のしやすさ、そして誰もが娯楽や発言の権利を楽しめることから人気を博しました。今日では、映画、テレビシリーズ、またはライブ放送を視聴する際に、集中砲火を浴びせることはほとんどのユーザーにとって行動習慣になっています。従来の弾幕は現在、動画とは分離されており、ユーザーはどちらかを選択できるため、弾幕があちこちに飛び交う混乱状態を効果的に回避できます。しかし、ライブ放送や二次元の世界など多くのシナリオでは、ユーザーはビデオ品質を圧縮せずに「見る」ことと「話す」ことの両方を楽しみたいと考えています。

ポートレートの集中砲火を自動で回避

最近、ゲームライブストリーミングプラットフォームHuyaは、ユーザーの「見る」と「話す」を同時に行うニーズを満たすAIスマート弾幕機能をリリースしました。ユーザーが弾幕設定でこの機能を選択すると、弾幕は自動的にポートレートを回避します。つまり、ライブ放送中、ユーザーは司会者の顔全体と輪郭全体をはっきりと見ることができます。

Huya AI製品ディレクターの徐子豪氏は、「ビッグキャスターの生放送ルームやテレビゲームプレイ中」などの場面では、高密度の弾幕がよく現れると述べた。高密度の弾幕はキャスターを遮り、キャスターを見たいユーザーにとって邪魔になる。弾幕をオフにすると、ユーザーは素晴らしい弾幕コンテンツを見たり、他のユーザーと交流したりすることができなくなる。この状況を改善するために、多くのビデオ会社は、弾幕の合理化、半画面表示、弾幕の透明度調整など、さまざまな方法を開発してきましたが、これらはまだ最善の解決策ではありません。

Huya Live は背景セグメンテーション技術を使用しており、人物と背景をより適切に分離し、インテリジェントな集中砲火を実現します。この機能はHuyaのエンターテインメントカテゴリーに実装されており、ゲームの主人公と背景を効果的に分離しています。Huyaは、今後もゲームカテゴリーでこの機能の拡張に努めていくと述べました。

AIスマートバレットスクリーンの背後にある技術

Huya AIテクノロジーの責任者である呉暁東氏は、AIスマート連射機能の背後には、肖像画のインテリジェント認識と肖像画マスクのインテリジェント圧縮という2つのコア技術があると語った。

リアルタイムのインテリジェントなポートレート認識。リアルタイムインテリジェント動的肖像認識の技術原理は、コンピューター画像分析、モデル理論、人工知能、パターン認識技術に基づく非接触のハイエンドパターン認識技術を使用して、複雑な画像シーンから特徴的な顔情報を検出し、マッチングと認識のインテリジェント分析プロセスを実行することです。

ポートレートマスクのスマート圧縮。 人工知能技術を使用して「ポートレート」領域のピクセルセットマスクを識別し、インテリジェント圧縮技術を使用してマスクをビデオストリームに圧縮します。視聴者側は、マスクとビデオフレームを同期して解凍します。フレームをマスクに一つずつ対応させることで、フレーム内の肖像画の正確な位置を知ることができます。

インタビューでは、Huya AIテクノロジーの責任者である呉暁東氏がAIスマート弾幕機能の特徴を紹介しました。

1. 従来の集中コメント処理方法は、オフラインでクラウド上で処理する方法で、認識の問題だけが残ります。しかし、Huya はライブ放送中のコメントをリアルタイムで処理します。
2. 一部のウェブサイトでは、PS マスキング技術を使用して特定のビデオに手動でマスクを追加し、箇条書きコメントをぼかしています。一方、Huya は人間シーン分離技術を使用して人物とシーンを分離し、箇条書きコメントが人物の後ろ、シーンの前に表示されるようにしています。
3. 従来のライブブロードキャスト連打と比較して、AI スマート連打は、帯域幅を増やすことなく、ビデオ ストリームとともに各フレームのマスクをエンコードします。従来の方法では、ビデオオンデマンドでの弾丸画面の伝送をサポートするために大量のトラフィックが必要になります。

「ブラックテクノロジー」を活用して最高のユーザーエクスペリエンスを実現する

認識、マスク圧縮、フレームとマスクの対応などの一連の操作について質問すると、特にライブブロードキャスト環境では、操作とメンテナンスに多くの労力が必要ですか？つまり、スマートバーラージ機能によってユーザーエクスペリエンスが影響を受けないようにするにはどうすればよいでしょうか？

Huya AIテクノロジーの責任者であるWu Xiaodong氏は、端末上のAI体験に最も大きな影響を与えるのはコンピューティングの量だと答えた。 Huya は AI 連射機能を設計する際に、計算能力の限界という問題を考慮に入れました。そのため、ポートレート認識とマスクエンコーディングはアンカー側に配置され、リアルタイムで計算されるため、ユーザーエクスペリエンスには影響しません。ユーザー側では、デコードマスクとマスク生成の計算を増やすだけでよく、計算量は非常に少なくなります。しかし、AI 背景セグメンテーション技術に関しては、ゲームライブストリーミングへの実装の可能性はまだ研究されていません。

現在、AI 技術は、コンテンツの制作、配信、消費、商業的な収益化など、ライブ放送業界の多くの主要なリンクで試され、実装されています。初期段階での主な貢献は、コンテンツ配信の効率化です。将来的には、ライブコンテンツの制作方法をさらに変え、制作効率を向上させていきます。 AIのコア技術には、音声認識、画像認識、自然言語処理などがあり、Huyaはこれらの技術をライブ動画の制作と配信にもさらに導入していきます。

生放送業界の発展以来、「千波万波戦争」から「砂漠の生存」、そして「激戦」に至るまで、生放送プラットフォームはトップキャスターの契約に費用を惜しんだことは一度もありません。長い競争期間を経て、ゲームライブストリーミング市場は徐々に安定し、AIスマート弾幕機能がHuya Liveにさらなる魅力を加えました。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]