音楽駆動型デジタルヒューマン技術の詳細な説明

1. ミュージックXRメーカー

Music XR Makerは、テンセントミュージック初のオーディオおよびビデオ研究所である天琴ラボから生まれました。AI技術を通じて音楽とエンターテインメントのオーディオビジュアル体験を向上させることに取り組んでいます。また、テンセントミュージック初のオーディオおよびビデオ技術研究開発センターでもあります。 Tianqin Lab のビデオとビジョンに関する主な業務には 2 つの側面があります。1 つは Music XR Maker と画像レンダリング技術であり、もう 1 つはビデオ理解、音楽ビデオ化、ビデオ品質の向上などのビデオ関連です。

1. デジタルヒューマンテクノロジースタックにおける音楽ドライブの位置づけ

デジタルヒューマンテクノロジースタックでは、音楽主導の位置付けは次の 3 つの部分に分けられます。

イメージ構築：イメージ構築のプロセスでは、モデルの作成、写真撮影による顔のピンチ、撮影モデリング、衣服の生成などの技術が関係します。

キャラクター駆動型: キャラクター駆動型は 2 つのシステムに分かれています。1 つ目はストーリーの登場人物をベースとし、舞台裏で実際の人物が操作するシステムです。2 つ目は AI 駆動型です。オーディオとビジョンの面では、両方のシステムには対応する実装があります。オーディオサウンドの面では、室内の人間が室内の人間の声を直接使用し、AI駆動型では話すためのTTSテクノロジーと、歌のための対応する歌唱テクノロジーを備えています。顔キャプチャーに関しては、動画内の人物の表情をリアルタイムでキャプチャーできます。AI生成には、話す唇の形状生成、歌う唇の形状生成、話す表情生成、歌う表情生成などが含まれます。動きやジェスチャーの面では、対応するモーションキャプチャーやジェスチャーキャプチャーもあります。音楽の分野では、対応するダンスの動きの生成や楽器のジェスチャーの生成もあります。

視覚的なレンダリング: 確立されたモデルが正常に駆動された後、一般ユーザーがモデルを確認できるようにする必要があります。これには視覚的なレンダリングが含まれます。例えば、バーチャルアイドルの動画が各種動画プラットフォームに配信されたり、バーチャルキャスターがバーチャルライブ放送を開始したり、インタラクティブなエンターテインメントや多人数での交流が行われたりします。

2. 音楽主導型研究開発システム「Music XR Maker」の構築

Music XR Maker は音楽に焦点を当てており、音楽コンテンツに基づいて仮想要素を作成するものと言えます。本質的には、音楽主導の AI 主導プロジェクトです。駆動可能なプロジェクトには、ボーカル合成、歌の唇の形の生成、ダンスの動きの生成、楽器のジェスチャーの生成、歌の表情の生成などがあり、シーンの照明効果やステージデザインも後続のイテレーションで徐々に追加されます。 Music XR Maker 音楽主導型研究開発システムの構築には以下が含まれます。

データソース: Music XR Maker システムの構築は、データレベルで 2 つの部分に分かれています。まず、モデリングアクションと唇の形状の生成にはデータソースが必要です。現在、ほとんどのソースは、モーションキャプチャまたはフェイシャルキャプチャデータ、およびジェスチャーキャプチャデータです。次に、データは音楽に関連しているため、音楽のスタイル、感情、音楽のメロディー、エネルギー、歌のリズム、段落など、音楽を理解する非常に強力な能力が必要です。

AI 生成: 基本データが利用可能になると、コア AI によって生成されたアルゴリズムを通じて 2 つのデータが相関されます。アルゴリズムには2種類あります。1つはエンドツーエンドモデルで、分類予測モデル、関連点予測、生成モデルなどが含まれます。もう1つはAIアレンジ生成アルゴリズムで、比較的複雑で、複数のステップが含まれます。また、同様の検索または推奨方法を使用します。リコール、ソート、再配置の3つの段階に分けられます。リコール段階では、入力信号が解析されたデータに関連付けられます。ソート段階では、曲のリズム、曲の人気、パーソナライズなどに応じてソートされます。再配置段階では、テンポの連続性、段落の関連性などに調整が行われます。

3D レンダリング: AI 生成を通じて運転データを取得した後も、完全な商品化チェーンを開くには 3D レンダリングが必要であり、これは不可欠なリンクです。まず、一般的に使用されている Unity や UE などのレンダリングエンジンが必要です。また、SMPL、GLB、FBX などのプロフェッショナルな 3D データ形式も必要です。さらに、Blender、Maya などの生産性向上ツールも必要です。

製品への応用：企業にとって、最後のリンクは、実際に特定の製品に適用することです。実用化には2種類あります。1つは、QQ MusicのMusic World、Music LiveのCloud Disco Live、KugouのKK Show、TMElandなどに代表される、ユーザー参加型のインタラクティブエンターテイメントアプリケーションです。もう1つは、公開されているFanbaoやEncoreなどのエンターテイメント企業でより一般的になっているバーチャルヒューマンの代表と、継続的に開発されているバーチャルヒューマンプロジェクトです。公開されているシーンには、バーチャルアイドルビデオ、バーチャルライブ放送、重要なノードでのバーチャルコンサートなどがあり、すべてバーチャルアイドルが披露される場所です。

2. 音楽で生成されるデジタルヒューマンダンス

1. バーチャルヒューマンダンスの制作方法

デジタルヒューマンダンスを生成する方法は 3 つあります。

モーションキャプチャースタジオ：最新のマルチアイモーションキャプチャー機器と慣性キャプチャーを使用することで、得られる効果はまさに映画レベルであり、現在入手可能な最高の効果でもあります。しかし、価格が高い、人件費や設備費が高いなどの問題があります。アプリケーションシナリオとしては、高品質のビデオ出力に使用できます。

ビデオ再生：単眼モーションキャプチャーに属し、通常の低精度のシーンではうまく機能します。ただし、非常に激しいテンポの速いダンスに使用する場合、特に高精度のモデルに使用する場合は、効果の詳細が失われます。この方法は人件費が比較的低いため、精度の低いモデルのシナリオでよく使用されます。ビデオ複製には、他の方法では実現できない非常に明らかな利点があり、それはホットスポットを非常にうまくキャプチャできることです。最近はショートビデオプラットフォームで人気のダンスが定期的に公開されています。この方法を使えば、人気のダンスをリアルタイムで素早く再現できます。

音楽ベースの生成: 純粋にアルゴリズムによる生成であり、効果はデータの品質とアルゴリズム自体に依存します。問題はデータの入手が難しいことですが、シナリオを大量生産できるという利点があります。バッチシナリオでは、高品質のビデオを補完することができ、音楽に基づいてダンスを生成するこのソリューションは、日常のビデオ出力に使用できます。

2. 音楽で生成されるデジタルヒューマンダンスの業界ソリューション

音楽で生成されるデジタルヒューマンダンスのソリューションは業界に数多く存在し、大まかに次のようになります。

生成ベースのソリューション: 非常に想像力豊かなソリューションですが、商用利用においては制御できない状況が発生する可能性があります。

コードブックに基づく: 生成されたソリューションと比較して、コードブックやその他の方法を追加することで改善され、生成されたダンスルールに一定の制約が課せられます。これは非常に優れたソリューションです。

ダンスの振り付けをベースにしているため、実験の難易度と実装の実現可能性が高くなります。

商業目的でダンスを制作する際には、考慮すべき要素が 3 つあります。第 1 に、ダンスの動き自体が美しくなければなりません。第 2 に、ダンスの動きが音楽のリズムやリズムと調和していなければなりません。第 3 に、音楽とダンスのスタイルも一貫していなければなりません。そのため、AIによる振り付けの際には、音楽自体の特徴や音楽のリズムなど、音楽の特性に重点が置かれ、ダンスの属性、スタイル、感情、スピードなど、ダンスもそれに応じてマッチングされます。一般的に、商業的なダンス生成は、元のオーディオファイルを取得した後、いくつかの方法でオーディオの特徴を抽出し、その特徴をダンスの動きに回帰させ、最後にこれらの動きを適切につなぎ合わせます。

3. TME天琴ソリューション

以下は、TME Tianqin ソリューションの生成アルゴリズムのスクリーンショットです。音楽が取得されると、一度に 1 フレームずつ小さなセグメントにカットされます。次に、フレームごとに、メロディー、リズム、音楽とダンスを最もよく表すその他の特徴など、対応する音楽属性の特徴が抽出されます。次に、最も適切なダンスセグメントがマッチングされます。同時に、音楽のリズムとスタイルの種類に基づいて、呼び出されたセグメントが並べ替えられ、あまり適していないセグメントが除外されます。最後に、対応するセグメントがつなぎ合わされて、完全なダンスが形成されます。ここでも問題が起こります。ダンスの動きでは、前部セグメントと後部セグメントの接続に問題が生じる可能性がありますが、これは、スムージングアルゴリズムを使用して遷移を行うことで解決できます。

このソリューションは実装が比較的簡単で、直接使用できます。しかし、このソリューションには想像力が欠けており、生成されたソリューションの多様性がやや乏しいため、いくつかの問題があります。

もう 1 つのソリューションセットは、生成に基づいています。オーディオ信号を入力すると、対応する元のサンプルオーディオが対応するダンスに関連付けられます。入力モデルでの処理後、元のダンスの動きに復元されます。このプロセスでは、より広い意味を表現するために、オーディオ信号とダンス信号の特性を可能な限り一致させる必要があります。

音楽によって生成されたデジタルヒューマンダンスが完成すると、主観的な評価を行うことができます。同じ曲について、生成されたダンスとハンドKダンスの動きが比較のために一般ユーザーに送信されます。 2つの比較方法が選択されます。1つ目の方法は、生成された結果とハンドKの結果を直接比較し、ユーザーにどちらが優れているかを選択させることです。2つ目の方法は、生成された結果とハンドKの結果を個別に採点することです。評価の結果、2つの方法の結論は類似しており、生成された結果は手Kの効果に近く、全体的な効果は良好であることがわかりました。

4. デジタルヒューマンダンスの商業化への道

デジタルヒューマンダンスの商業的道筋は次のとおりです。

まず、モーションキャプチャースタジオ撮影とCPハンドKにより最高の効果が得られ、バーチャルアイドルやバーチャルキャスターの高品質なMVやイメージプロモーションビデオに応用され、同時にこのような高品質なダンスデータも保存されます。

第二に、単一目的のビデオ再生は、主にバーチャルアンカー、バーチャルアイドル、およびユーザーインタラクティブエンターテイメントシナリオ向けの人気ダンスを生成するために使用されます。生成されたデータは手動でスクリーニングして、中程度の品質のダンスデータを保持できます。

最後に、以前に保持した高品質のダンスデータと中品質のダンスデータをAIダンス生成モデルのデータソースとして使用します。生成されたダンスデータは量産データとして使用され、バーチャルアイドル、バーチャルアンカー、ユーザーインタラクティブエンターテイメントシナリオで使用され、より多くのダンスムーブメントを量産します。

3. 歌でデジタル人口が増加

1. 歌を歌うことでデジタル人口問題解決

歌唱駆動型デジタル人口には 2 つの実装スキームがあります。

① プロフェッショナルな顔キャプチャソリューション：プロフェッショナルな機器とサポートソフトウェアにより、最高の効果と無制限の表現ベースが実現します。超リアルな仮想人間シーンで広く使用されています。

② 通常の光学カメラソリューション：これは通常の携帯電話カメラで実現できます。効果は一般的なシナリオでは完全に許容可能で、標準は 52 BS です。一般的な仮想人間のシナリオに適用可能です。

2. 唇の動きに基づくデータセット構築

リップシンク駆動型データの構築では、KugouソフトウェアのユーザーのK歌唱ビデオ映像が保存され、ユーザーのドライ歌唱データも記録されます。上記の単眼モーションキャプチャソリューションを通じて、歌唱シーンを唇形状認識によって認識し、唇形状BSデータを取得し、それを保持されたユーザーの歌唱ドライボイスデータと組み合わせて、同時に歌唱唇形状駆動モデルに入力します。

歌唱主導型と話し声主導型には違いがあります。話すときは口の動きが速くなりますが、歌うときは一息で歌わなければならないため、口の動きはより連続的になります。同時に、話すときの口の動きの振幅は歌うときほど大きくないため、特別な歌唱唇主導型モデルが作成されます。

3. TMEリップ駆動モデル

TME リップドリブンモデルソリューションは、2 つのデータ部分を同時に使用します。1 つはユーザーが入力したドライボイスデータ、もう 1 つは歌詞ファイルです (歌詞ファイルは、各単語の正確なタイムスタンプを取得するために、歌詞ファイルとオーディオを揃えるように事前処理されます)。入力されたオーディオと歌詞はエンコーダーによって処理された後、融合されます。融合結果は別の顔マッチング予測モジュールに入力され、現在のフレームの歌詞とオーディオ情報を以前のすべてのフレームの情報と組み合わせてデコーダープロセスを実行します。最後に、曲全体が変更に一致するように予測され、必要なモデルパラメータに変換されます。

4. リアルタイムソリューション

上記は非同期で動画を生成するシナリオです。リアルタイムの問題を解決するための考慮事項は次のとおりです。まず、オフラインでプリセットの BlendShape を生成し、テストファイルとドライボイスデータを入力します。ドライボイスは 2 つの部分から成ります。1 つは以前のユーザーが歌った優れた作品のドライボイスです。もう 1 つは曲の元の歌手です。元の歌手のドライボイスはテクノロジによって抽出され、その後、さまざまなファイルと包括的なドライボイスが以前の唇の形状モデルによって駆動され、プリセットの BlendShape が得られます。実際に実装すると、ユーザーのリアルタイムドライサウンドがオーディオマッピングモデルを通過してリアルタイムオーディオ分析結果が得られ、それが以前のプリセットブレンドシェイプとマージされて最終的にリアルタイムブレンドシェイプが得られます。これにより、リアルタイムの問題が解決され、同時にリップシンク生成の効果も実現されます。

リアルタイムソリューションの関連テクノロジはすでに利用されており、Kugou 8.0 の QQ ショーで体験できます。1 つのシナリオでは、ユーザーが歌い始めるとカラオケショーのインターフェイスが表示され、歌っている間に QQ ショーの仮想人物の動きと唇の形を見ることができます。もう 1 つは、カラオケルームのシナリオで同様の体験ができるというものです。

4. 歌声がデジタルヒューマンの歌唱表現を駆動する

デジタルヒューマンの歌う唇の動きを完成させた後、その人間がかなりつまらないように見えることに気付きました。プロの歌手のパフォーマンスを分析すると、歌うときに感情を表現するには、唇の形に加えて、顔の表情、身振り、動きがすべて同時に存在する必要があることがわかりました。この3つが1つになった完全なパフォーマンスだけが、歌手のその時の強い感情を際立たせることができます。

1. 歌唱表現データの収集

歌唱を駆動するデジタルヒューマンの歌唱表現の実現にはデータ収集が必要である。データ収集の際には、まず表情付きの歌唱ビデオサンプルを探し、フェイスキャプチャーで表情を取得し、モーションキャプチャーで動きを取得し、ハンドキャプチャーでジェスチャーを取得します。次に、表情、動き、ジェスチャーを組み合わせて歌唱表情セグメントを作成し、手動で表情ラベル付けした後、歌唱表情ライブラリに格納します。

2. 歌唱表現の合理的な推進

歌唱表現を収集した後、合理的に駆動する必要があります。歌詞のテキスト解析により、歌唱時の歌詞の表現情報を取得し、歌唱パフォーマンス全体の表現トーンを判定することができます。このとき、曲全体または曲の特定の部分に表現を挿入するのに適した、さまざまな種類の表現の膨大なライブラリから適切な表現を選択できます。

V. 要約と展望

過去2年間で、バーチャル人物やメタバースに関連する多くのプラットフォームや製品が発売されました。エンターテインメント会社、有名人、大手商業会社、大規模なニュースキャスター、一般ユーザーなど、多くの人が独自のバーチャルイメージを持っており、バーチャルイメージはますます一般的になっています。

コストの問題、管理の問題、そしてバーチャルイメージの魂がバーチャルアイドル自身のものか、それとも中の人のものかなど、中の人はますます多くの問題に直面しています。

画像作成技術、ビジュアル駆動技術、音声・歌声合成技術など、AI駆動技術は急速なアップグレードに直面しています。 TMEは、音楽を核とした技術を構築しており、音楽駆動型のデジタルヒューマンダンス、デジタルヒューマンの歌唱唇の動き、デジタルヒューマンの歌唱表現など、将来的には他の側面も登場する予定です。

全体的に、デジタルヒューマンの未来はテクノロジーにあります。