Microsoft が NaturalSpeech2 音声合成モデルを発表: 音声再構成は「より正確」になり、「行き詰まる」こともなくなる

マイクロソフトは7月27日、NaturalSpeech2という音声モデルを発表しました。このモデルは「潜在拡散」設計を採用しており、ゼロサンプル音声合成において優れた結果を示しています。マイクロソフトは、このモデルが「商用グレード」の音声/歌唱ソリューションを提供し、ユーザーに高品質で多様な音声合成体験を提供できると主張しています。

Microsoft は NaturalSpeech2 の一連のデモンストレーションを実施し、ゼロショットの状況でさまざまな話者のアイデンティティ、韻律、スタイル (歌唱など) の音声を生成する能力を示しました。

▲ 画像出典: NaturalSpeech 2 論文

従来の音声テキスト変換 (TTS) システムとは異なり、Microsoft の NaturalSpeech2 は音声を表現するために「個別のタグ」ではなく「連続ベクトル」を使用するため、より完全な音声セグメントが生成され、「感情の欠如」や「棒読み (単語ごとに話す)」現象が発生しないことが報告されています。

▲ 画像出典: NaturalSpeech 2 論文

実験結果によると、ゼロサンプル条件下でNaturalSpeech2によって生成された音声は、音声プロンプトや実際の音声のリズムとほぼ一致しており、LibriTTSおよびVCTKテストセットでの自然さ（CMOSで測定）は実際の人間の音声と区別するのが困難です。

このプロジェクトの論文は GitHub で公開されています。興味のある IT Home の友人は、ここをクリックしてアクセスできます。

<<: スマートフォンアプリケーションにおける人工知能の役割

>>: アマゾンが新しいAIツールを発表、数千の企業がBedrockを試すよう呼びかけ

Microsoft が NaturalSpeech2 音声合成モデルを発表: 音声再構成は「より正確」になり、「行き詰まる」こともなくなる

CES 2018: 見逃せない 4 つの主要なテクノロジートレンド

企業はビッグデータアルゴリズムを使用して効果的なリンクを構築できますか?

人工知能デジタル技術の強化は現実予測において徐々にその力を発揮しつつある

初心者にも優しい！楽しくて簡単に始められる AI プロジェクト 10 選 (Python ソースコード付き)

微調整の必要はありませんか? 3つのサンプル、LLMアライメントを修正するための1つのヒント、エンジニアのヒント：すべて戻る

マスク氏の脳コンピューターインターフェース企業はさらに4,300万ドルを調達し、臨床試験のプロモーションビデオが初めて公開された。ネットユーザー：どこで支払うのか？

AI検出器は復活するのか？成功率は98％と高く、OpenAIを上回っている。

推薦する

専門家：歩行者の安全問題を解決するために都市は自動運転だけに頼ることはできない

「映画を見る」こと以外に、人工知能は医療の分野で何ができるのでしょうか?

元GitHub CEO：AIプログラミングアシスタントCopilotは価格よりも安く、損失はない

ControlNet、「Split Everything」などの人気論文が受賞、ICCV 2023論文賞が発表

AIは自メディア記事の質を知っている。これがWeChatの自動評価アルゴリズムだ

キング・オブ・グローリーのプレイからサッカーのプレイまで、テンセントのAIが再び進化

2022 年に予測されるロボティックプロセスオートメーションのトップ 10 トレンド

AIがまだ人間を超えられない9つの分野

RNN の理論から PyTorch まで

AIは近い将来自己認識できるようになるのでしょうか? Facebook がメタバースへの扉を開く「Ego4D」を発表

世界で最も強力なオープンソースモデルが一夜にして所有者が変わりました。 Google Gemma 7B が Llama 2 13B を圧倒、オープンソース戦争が再燃

基数ソートのヒント 1 つ、ソート方法 2 つ、ソートアルゴリズム 3 つ

階乗関連のアルゴリズムとその C++ 実装

人工知能センターオブエクセレンス：ビジネス変革を推進する新たなエンジン