快手テクノロジー副社長の王中元氏：ユーザーの90％はショートビデオに音楽を使用することを期待しています。快手は「AI+音楽」を使用してショートビデオの作成を支援します。

6月6日、2021年世界人工知能技術大会の「発展と課題」特別フォーラムが杭州で開催された。快手テクノロジー副社長兼MMU&Y-tech代表の王中元氏がフォーラムに出席し、「音楽とテクノロジーの衝突と融合 - 時代とともにアートはどう変化するか」と題する基調講演を行い、AI音楽における快手の動向と進歩を共有し、快手の優れた人工知能技術と、AI音楽が短編動画にもたらす強力なブーストを全面的に披露した。

[[404796]]

AI技術+音楽の深い統合、Kuaishouは短編動画の視聴体験を向上し続けます

国内のショートビデオアプリであるKuaishouは、膨大なコンテンツ、膨大なトラフィック、高いユーザー定着率を誇ります。データによると、Kuaishouユーザーによって毎月平均11億本以上の短編動画がアップロードされており、1日あたりのアクティブユーザー数は全体で3億7000万人を超えています。Kuaishouプラットフォームで短編動画やライブ放送を視聴する平均時間は、1日あたり約100分です。

豊かな Kuaishou コミュニティ エコシステムでは、音楽はユーザーの創作意欲を刺激する要素の 1 つになっています。快手では、快手作品の76%にサウンドトラックがあり、快手ユーザーの90%はほとんどの短編動画にサウンドトラックがあることを期待しています。

ユーザーはなぜ短い動画を作成するときに音楽にそれほど依存するのでしょうか?王中元氏は「短編動画の制作体験にとって、音楽のプラスの影響は極めて重要です。例えば、美しい短編動画のバックグラウンドミュージックを削除し、オリジナルのサウンドだけを残すと、その雰囲気が弱まり、ユーザーに以前とは全く異なる印象を与えてしまいます」と語った。

この点に関して、王中元氏は音楽の独特な魅力をさらに分析した。彼の意見では、音楽は人々の思考や感情と結びつき、人々に幸せ、悲しみ、期待などの感情を与えることができる。中国人は春節の序曲を聞くと、春が戻ってすべてが生き返ったような気持ちになることが多く、CCTV春節祝賀会の司会者の冒頭の言葉も無意識のうちに頭に浮かびます。

音楽は魔法のような芸術であり、テクノロジーの発展とともに新たな形をとっています。産業時代においては、製造工程の改善により、楽器から発せられる音はより豊かで多層的なものになりました。エレクトロニック時代においては、電子技術の発達により、自然界の機械では作り出せない音が生み出され、音楽の表現力はより多様化しました。

人工知能の時代を迎えた今日、AIテクノロジーは音楽の包括的なパーソナライゼーションとインテリジェンスの実現を支援し、音楽と短編動画に新たな発展空間をもたらします。王中元氏によると、少し前にネット上で流行した「Ants」は、音楽と視覚AI技術の創造的な融合であり、ユーザーは写真1枚だけで、ユーモアがあり楽しくダイナミックな歌唱ビデオを自動的に生成します。魔法のようなBGMと相まって、すぐにショートビデオユーザーが急いで作成するテンプレートになりました。

AI技術が音楽の普及を促進し、快手はプロレベルの歌唱を復活させる独自のモデルを構築

テクノロジーの助けにより、音楽制作は大衆化の時代に入りました。より多くのユーザーがパーソナライズされた音楽を作成できるようにするにはどうすればよいでしょうか? KuaishouはAI音楽創作モデルとAI歌手を独自に研究してきました。

音楽制作プロセスの観点から見ると、そのほとんどは合理化され、エンジニアリングされ、モジュール化される傾向があります。最初のステップは、創造的な動機を把握し、次に歌詞を書いて音楽を作曲し、次にアレンジし、最後に録音してミックスすることです。 Kuaishou が構築した AI モデルを通じて、各ステップを AI の助けを借りて完了することができます。

王中元氏は「AI時代には、モチベーションは非常にシンプルになりました。Kuaishou AI音楽モデルにランダムなキーワードを入力すると、モデルは単語をモチベーションの表現に変換し、さまざまな初期化された音楽に変換することができます。」と述べました。

[[404797]]

動機を決定した後、Kuaishou AI モジュールを使用して歌詞を生成できます。 AI歌詞に関しては、Kuaishouは数百万曲の既存曲でモデルを再トレーニングし、AIが言葉の意味をしっかりと理解できるようにし、ユーザーがテーマ、感情、スタイルを入力するだけで数秒で数十の歌詞を生成できるようにしました。

快手はAIメロディーの作成においても同様の手法を採用しており、数十万の楽譜と数百万の歌の音声でトレーニングモデルを構築し、ミニデータベースを使用してモデルが自己監督し、歌の本質的なつながりを学習できるようにすることで、AIメロディー生成能力をトレーニングしている。

快手はプラットフォーム上のミュージシャンを招待し、AIモデルを使って新曲を制作しているとみられる。制作されたポップミュージックには「Sweet Taste」「Night」「Go Forward」などがある。

高品質な完成した曲を録音するには、歌手に非常に高い歌唱力が必要です。歌声が音程外れだったり、音質が悪かったりといった一部のユーザーが抱える問題を解決するため、KuaishouはAI歌手支援作成機能を立ち上げ、モデルの精度を継続的に向上させてきた。

報道によると、2020年5月にはAI歌手のパフォーマンスはまだKTVレベルだったが、2020年12月には一般の人がAI歌手のパフォーマンスの欠点を見つけることは困難になった。現在では、モデルが楽譜に応じてピッチ、ビート、歌詞を自動的に調整し、AI歌手はプロの歌手の歌唱レベルを現実的に回復できるようになった。

王中元氏はスピーチの最後に、「今後、快手はゲームプレイの生成面を充実させるために、より多くの新技術を模索していきます。音声認識技術の助けを借りて、快手は将来、AI歌手が個人の音色を真似できるようになり、AI音楽が話し言葉を直接歌に変換できるようになり、ユーザーのよりパーソナライズされた音楽制作のニーズを満たし、短編動画の作成を継続的に支援できるようになることを期待しています」と述べた。