Google、かわいい動物動画生成に優れたAI動画ジェネレータ「Lumiere」をリリース

海外メディアの報道によると、1月26日、GoogleはLumiereと呼ばれる人工知能ビデオジェネレータを発表し、関連するプレプリント論文の中でこれを「リアルなビデオ生成のための時空間拡散モデル」と呼んだ。 Lumiere は、ローラースケートを履いたり、車を運転したり、ピアノを弾いたりといったおかしな状況にいるかわいい動物たちのビデオをうまく作成しています。

Google によれば、Lumiere は独自のアーキテクチャを活用して、ビデオの全期間を一度に生成します。あるいは、同社の言葉を借りれば、「モデルを 1 回通過するだけで、ビデオの全時間継続時間を瞬時に生成できる時空間 U-Net アーキテクチャを導入します」。これは、離れたキーフレームを合成し、その後に時間的超解像を行う既存のビデオ モデルとは対照的であり、このアプローチでは、本質的に全体的な時間的一貫性を実現することが困難です。 ”

簡単に言えば、Google のテクノロジーは、空間的側面 (ビデオ内のオブジェクトの位置) と時間的側面 (ビデオ内でオブジェクトがどのように移動し変化するか) の両方を同時に処理するように設計されています。そのため、多くの小さな部分やフレームを組み合わせてビデオを作成するのではなく、最初から最後まで 1 つのスムーズなプロセスでビデオ全体を作成できます。

Lumiere はさまざまなパーティー トリックも実行できます。Google のデモ ページには、この優れた例が掲載されています。たとえば、テキストからビデオへの生成 (書かれたプロンプトをビデオに変換する)、静止画像をビデオに変換する、参照画像を使用して特定のスタイルでビデオを生成する、テキストベースのプロンプトを使用して一貫したビデオ編集を適用する、画像の特定の領域をアニメーション化して映画のようなグラフィックを作成する、ビデオ ペイント機能 (たとえば、人が着ている服の種類を変更する) を提供するなどの機能があります。

ルミエールの研究論文の中で、グーグルの研究者らは、AIモデルが1024×1024ピクセルの5秒間の動画を出力し、それを「低解像度」と呼んでいると述べた。こうした制限にもかかわらず、研究者らはユーザー調査を実施し、Lumiere の出力は既存の AI ビデオ合成モデルよりも人気があると主張しています。