Google がオールラウンドな音楽転写 AI を発表: 曲を一度聴くだけでピアノとバイオリンの楽譜がすべて手に入る

Google がオールラウンドな音楽転写 AI を発表: 曲を一度聴くだけでピアノとバイオリンの楽譜がすべて手に入る

この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載しています。転載の際は出典元にご連絡ください。

一度曲を聴けば楽譜がわかってすぐに演奏できるほか、ピアノ、バイオリン、ギターなど「18種類の楽器」をマスターすることもできます。

これは人間の音楽マスターではなく、 Googleが発表した「マルチタスク・マルチトラック」の音符転送モデルMT3です

まず、マルチタスクとマルチオーディオトラックとは何かを説明する必要があります。

通常、1 つの楽曲は複数の楽器で演奏され、各楽曲はトラックであり、マルチタスクは異なるトラックのスコアを同時に復元することです。

Google は ICLR 2022 に論文を提出しました。

マルチトラックスコアを復元する

自動音楽転写 (AMT) は、自動音声認識 (ASR) よりもはるかに困難です。自動音声認識では、詳細なピッチとタイミング情報を保持しながら、複数の楽器を同時に転写する必要があるためです。

マルチトラックの自動音楽転写データセットはさらに「低リソース」です。既存のオープンソースの音楽転写データセットには、通常、1 ~ 数百時間のオーディオしか含まれておらず、数千時間または数万時間のオーディオを簡単に含めることができる音声データセットの市場と比較すると、非常に小さいです。

これまでの音楽転写は、主に各タスクのさまざまな楽器に合わせて調整されたタスク固有のアーキテクチャに重点を置いていました。

したがって、低リソースの NLP タスクからの転移学習に着想を得て、著者らは、一般的な Transformer モデルがマルチタスク AMT を実行し、低リソースの機器のパフォーマンスを大幅に向上できることを実証しています。

著者らは、単一の共通 Transformer アーキテクチャである T5 と、約 6,000 万個のパラメータを含む T5「小型」モデルを使用しています。

このモデルは、エンコーダーとデコーダーで一連の標準的な Transformer 自己注意「ブロック」を使用します。出力トークンのシーケンスを生成するために、モデルは貪欲な自己回帰デコードを使用します。つまり、入力シーケンスを受け取り、最も高い確率で予測される次の出力トークンをシーケンスに追加し、最後までプロセスを繰り返します。

MT3 はメルスペクトログラムを入力として使用します。出力については、著者らは MIDI 仕様にヒントを得た「MIDI ライク」と呼ばれるトークン語彙を構築しました。

生成されたスコアは、オープンソース ソフトウェア FluidSynth を使用してオーディオにレンダリングされました。

さらに、さまざまな音楽データセットの不均衡や異なるアーキテクチャの問題を解決する必要があります。

著者らが定義したユニバーサル出力トークンを使用すると、多言語翻訳モデルを複数の言語で同時にトレーニングできるのと同様に、複数のデータセットの混合でモデルを同時にトレーニングすることもできます。

このアプローチは、モデルの設計とトレーニングを簡素化するだけでなく、モデルで使用できるトレーニング データの量と多様性も増加させます。

実績

MT3 は、すべての指標とすべてのデータ セットにわたって一貫してベースラインを上回ります。

トレーニング中にデータセットを混合すると、特に GuitarSet、MusicNet、URMP などの「リソースの少ない」データセットの場合、単一のデータセットのトレーニングよりもパフォーマンスが大幅に向上します。

最近、Google チームも MT3 のソースコードを公開し、Hugging Face で試用デモをリリースしました。

ただし、オーディオの変換には GPU リソースが必要なので、Hugging Face では Colab 上で Jupyter Notebook を実行することをお勧めします。

論文の宛先:
https://arxiv.org/abs/2111.03017

ソースコード:
https://github.com/magenta/mt3

デモアドレス:
https://huggingface.co/spaces/akhaliq/MT3

<<:  チップ設計の極めて高いハードルがAIによって「打ち破られる」

>>:  中国の 700 万人のプログラマーが足りない場合はどうすればいいでしょうか?北京大学のソフトウェア自動化の専門家、謝涛氏に聞いた。

ブログ    

推薦する

開発者向け機械学習プラットフォーム 18 選

[[255723]]機械学習プラットフォームは未来の波ではなく、今起こっていることです。開発者は、自...

ディープラーニングを用いた医療画像解析: ファイル形式

[[198733]]今年 3 月に開催された NVIDIA の GTC 2017 カンファレンスでは...

脳とコンピューターのインターフェースのための新しい「接着剤」が発明され、人間と機械の融合「サイボーグ」における新たな進歩がもたらされる

マスク氏の脳コンピューターインターフェースは「人間でテスト」されようとしているが、侵襲的な脳コンピュ...

...

AI はビジネスのやり方を永久に変えるのでしょうか?

Google、Facebook、Twitterなど、世界中の大手テクノロジー企業が人工知能ソリュー...

ChatGPT が突然大きなバグを発見しました!フル機能のGPT-4は無料で使用でき、ネットユーザーは大喜びしている

11月15日、OpenAIは突然、ChatGPT Plusの新規ユーザー登録を停止すると発表しました...

...

...

...

...

AIが機密情報を保護する5つの方法

人工知能(AI)は、業務の効率化に欠かせないツールであるだけでなく、機密情報の保護にも重要な役割を果...

...

量子機械学習モデルを構築するための Google の新しいフレームワーク、TensorFlow Quantum を探索する

[[319936]] [51CTO.com クイック翻訳] 量子コンピューティングと人工知能 (AI...