Google Deepmind、楽器とボーカルで音楽を生成するLyria AIオーディオモデルを発表

11月21日、Deepmindは楽器とボーカルで音楽を生成できるLyriaというオーディオモデルをリリースした。さらに、DeepmindはYouTubeと協力してLyriaモデルを統合し、音楽制作ツールDream Trackを開発しており、これによりビデオクリエイターが「アイデアをより効率的に作品にすることができる」と主張している。

研究者らは、AI モデルを通じて音楽を生成する際の現在の課題について説明しました。これは、音楽自体に極めて高い情報密度が含まれており、1 秒ごとに複数のビート、音符、ハーモニーが可能であるためです。これにより、「音楽の生成」は「言語の生成（テキスト読み上げ）」よりも複雑になり、AI モデルが長い音楽シーケンスの連続性を維持することも難しくなります。これは、モデルがさまざまなフレーズ、詩、長い段落で音楽の流暢さと一貫性を維持する必要があるためです。

さらに、音楽クリップには複数の音声や楽器が同時に含まれていることが多いため、音楽生成の難易度がさらに高まります。関連するオーディオ モデルは、生成された音楽をより自然にするために、複数のサウンドとメロディーを調整できる必要があります。

Deepmindが開発したLyria AIモデルは、上記の問題点を解決する試みです。このモデルの最大の特徴は、楽器やボーカルも含めた高品質な音楽を生成できる点です。

▲ 画像出典：Deepmind

さらに、Lyria モデルは音楽の変換と継続のタスクの実行にも優れているため、既存の音楽作品に基づいて斬新なスタイルや統一されたスタイルを持つ後続の音楽作品を生成することもできます。

研究者らはまた、Lyria モデルにはユーザーが音楽スタイルや表現を正確に生成できる詳細な微調整オプションがあるため、このモデルは「プロの音楽制作のニーズを満たすと同時に、アマチュアユーザーが簡単に始められる」とも強調した。

▲ 画像出典：Deepmind

IT Homeは、YouTubeがすでに短編動画機能「Shorts」にLyriaモデルを適用しており、その成果がYouTubeの実験的な音楽制作ツール「Dream Track」に統合されていると指摘した。ユーザーはこのツールを使って多様なサウンドトラックを生成し、Charlie Puth、Charli XCX、Siaなどのアーティストの音楽スタイルを選択して「新しい解釈」を生み出すことができる。

▲ 画像出典：Deepmind

ユーザーは Dream Track にテーマを入力し、アーティストを選択するだけで、30 秒のサウンドトラック、歌詞、伴奏、その他の短編ビデオ用コンテンツが生成されるとのことです。

▲ 画像出典：Deepmind

▲ 画像出典：Deepmind

さらに、Deepmindは、研究者が音楽制作の分野でAIの応用を幅広く研究しているとも述べています。将来的には、ユーザーはハミングするだけで、AIがメロディーを歌詞付きの完全な曲にマッチさせます。また、古いMIDI音楽をリミックスバージョンに変換したり、オーディオトラックにさまざまな楽器の伴奏を追加したりすることもできます。

Deepmind はまた、Lyria モデルによって生成されたすべてのコンテンツに SynthID 透かしが付けられると述べました。これは、楽曲がAIによって生成されたものであるかどうかを識別するための透かしの仕組みです。AIが生成した音楽に、聴取体験に影響を与えることなく「リスナーには知覚できない透かしマーク」を埋め込むことができると主張しています。

▲ 画像出典：Deepmind

研究者らは、「サウンド ウォーターマーク」付きのオーディオは、ノイズが追加されたり、MP3 圧縮が行われたり、ピッチや速度が変更されたりしても検出可能であると述べています。Lyria モデルは、曲内の SynthID を検出することで、Lyria モデルによって生成された曲の部分を確認することもできます。これにより、音楽のテーマ コンテンツを識別しやすくなり、後続のミュージック クリップの生成が容易になります。