MetaがAI画像編集ツールEmu Editを発表 / ビデオ：1000万のデータセットでトレーニングされ、競合他社よりもはるかに優れていると主張

IT Homeは11月20日、Metaが昨日、FacebookとInstagram向けの写真と動画に適用できるAIベースの画像編集ツール「Emu Edit」と「Emu Video」の2つを発表したと報じた。Metaは現在、この2つのAIツールに関する詳細情報を公開しており、IT Homeは以下のようにまとめた。

公式紹介によると、Emu Editモデルはテキスト指示のみを使用して画像を正確に編集できるとのこと。開発チームは、テキストからビデオ（T2V）の生成プロセスを分解することで、最終的に生成されるビデオの品質と多様性を向上させることができるEmu Videoという手法を発表しました。

Emu Edit は、さまざまなオーディオおよびビデオ操作タスクを簡素化し、ビデオ編集にさらに多くの機能とより高い精度を提供することを目的とした革新的な画像編集方法であると主張されていると報告されています。

Emu Edit は、ユーザーの指示を受け入れ、地域編集やグローバル編集、背景の削除と追加、色の調整、ベクター画像変換の実行、画像要素の検出とセグメント化など、さまざまな形式の編集を実行できます。

Meta 氏は、Emu Edit は生成されたモデルに視覚的なタスクを指示として組み込むことで、ビデオの生成と編集をより適切に制御できると述べました。研究者らは、現在の画像編集モデルは画像を過剰に修正したり、修正が不十分であったりすることが多いが、Emu Editの利点は指示に従って正確に編集できることだと指摘した。

Meta は、Emu Edit のトレーニングに 1,000 万の合成データセットを使用しました。これは、この種のデータセットとしては最大規模と言われており、画像編集機能が向上しました。各サンプルには、画像入力、タスクの説明、ターゲット出力画像が含まれています。これにより、モデルは指示を忠実に実行し、「現在のすべての競合製品よりも優れた結果」を生み出すことができます。

Emu Video は、拡散モデルを使用し、Emu Edit に基づいた、シンプルで効率的なテキストからビデオへの生成方法です。開発チームは、このビデオ生成アーキテクチャは、テキスト、画像、テキストと画像の組み合わせなど、さまざまな外部入力方法に対応できると説明しました。さらに、Emu Video はテキストプロンプトを受け入れ、ユーザーが提供した画像を「アニメーション化」することもできるため、「過去のモデルを超える機能」を提供します。

Emu Video は、ビデオ生成プロセスを 2 つのステップに分割します。最初にテキスト プロンプトに基づいて画像を生成し、次にテキストと生成された画像に基づいてビデオを生成します。この分割ステップのビデオ生成アプローチにより、研究者は生成モデルを効率的にトレーニングできます。

研究者らはさらに、Emu Videoは一連のディープ生成モデルを必要とするMake-A-Videoなどのこれまでの研究とは異なると説明した。Emu Videoはよりシンプルで、 2つの拡散モデルのみを使用して、解像度512x512、16FPS、長さ4秒のビデオを生成できる。

IT Homeは、Metaが評価データを引用して、Emu Videoによって生成されたビデオの品質と「プロンプトワードへの忠実度」が業界の競合他社のものより優れていることを証明したことを発見した。

品質の点では、回答者の 96% が以前の Make-A-Video ソリューションよりも Emu Video を好み、一方、「プロンプト ワードの忠実度」の点では、回答者の 85% が Emu Video を好みました。