ストーリーを伝えれば、動画が編集されます。AI による動画編集の自動化により、パンダの目を持つ編集者が解放されます。

ビデオ編集は、編集者が適切なフレームを見つけてつなぎ合わせる必要がある、時間と労力を要する作業です。このプロセスを自動化できれば、編集者は映画の編集のために夜更かしする必要がなくなるかもしれません。清華大学、北京航空航天大学、ハーバード大学、イスラエルのヘルツリーヤ学際研究センターの研究者らは、ビデオの対応するテキストを編集することでショットの選択と結合を完了し、テキストの説明に準拠した一貫性のあるビデオを生成できる新しいビデオ編集方法を開発した。

研究者らが提案したツールは「Write-A-Video」と呼ばれ、テキストに基づいてライブラリ内のどのショットやシーンを選択するかを判断し、編集者が要求するストーリーラインを形成できます。このツールは初心者にとって非常に使いやすく、プロのビデオ編集スキルがなくても高品質のビデオモンタージュを作成できます。

研究者らはまた、ユーザーがビデオフレームを操作することなくテキストを直接操作できる新しいビデオ編集インターフェースも提案した。

彼らはそれをさまざまなテーマのテキストとビデオのコーパスでテストし、定量的な評価とユーザー調査を実施しました。結果は、人間の能力とアルゴリズムの能力を組み合わせたこのインテリジェントなデジタル ツールが、ユーザーの創造プロセスを支援できることを示しています。 Write-A-Video ツールの助けを借りれば、ビデオ編集の経験がないユーザーでも、フレーム編集ツールを使用するプロよりも速く、満足のいくビデオを編集できます。

チームはこの成果を今月17日から20日に開催されるACM SIGGRAPH Asiaカンファレンスで発表する予定だ。 ACM SIGGRAPH Asia は、国際グラフィックスおよびコンピュータサイエンス協会が主催するコンピュータグラフィックスとインタラクティブ技術の展示会および会議です。コンピュータグラフィックスにおける最高峰の国際会議です。

研究者らは、Write-A-Video を使用すると、編集者はビデオに付随するテキストを編集するだけでビデオモンタージュを作成できると述べている。テキストを追加または削除したり、文章を移動したり、対応するショットの検索、ショットのカットやリセットなどのビデオ編集操作に変換したりできます。

編集プロセスは3つのステップに分かれています。(1) ユーザーが入力を行い、ほとんどの場合はテキストを編集します。(2) システムはビデオライブラリで意味的に一致するショットを自動的に検索します。(3) ビデオがつなぎ合わされます。セグメント化されたテキストとショット間の視覚的意味的マッチングは、カスケードされたキーワード マッチングと視覚的意味的埋め込みによって実現され、他のソリューションよりも正確です。時間的制約を考慮して、ビデオ再構成は、ショット、カメラの動き、トーンなどの映画の技術的指標と、ユーザーが指定した映画の表現方法のハイブリッド最適化として定義されます。

「Write-A-Video は、自動ビデオ理解と独自のユーザー インターフェイスの最新の進歩を活用して、より自然でシンプルなビデオ編集を実現します」と、ヘルツリーヤ学際研究センターのアリエル シャミール教授は述べています。 「当社のツールでは、ユーザーはテキスト編集の形で入力を行うことができます。このツールは、ビデオ ライブラリから意味的に一致する候補ショットを自動的に検索し、最適化手法を使用して、自動トリミングとショットの再配置を通じてビデオ モンタージュを組み立てることができます。」

現在、北京航空航天大学の仮想現実技術・システム国家重点実験室で研究助手および修士課程の指導者を務めるミャオ・ワン博士は、「Write-A-Video を使用すると、ユーザーは映画技術の慣用句を通じて各シーンの視覚スタイルを探索でき、それによってビデオのリズムを速くしたり遅くしたり、アクション コンテンツを増やしたり減らしたりすることができます」と述べています。

[[282636]]

さらに、ビデオ ライブラリから候補ショットを選択するときに、Write-A-Video はショットの美観を考慮し、照明が適切で、焦点が合っていて、鮮明で安定しているショットを自動的に選択します。清華大学の胡世民教授は、「ユーザーはいつでもナレーションの助けを借りてビデオをレンダリングし、ビデオ編集効果をプレビューすることができます。」と語った。

「有名人の映像を見る」というオプションは、以前から多くの動画サイトで提供されており、自動編集に関する最近の研究により、自動化がさらに大きく前進したようだ。この技術はいつ実用化されるのでしょうか?

プロジェクト リンク: http://www.faculty.idc.ac.il/arik/site/writeVideo.asp

参考リンク: http://siggraphasia.mystrikingly.com/blog/lights-camera-and-text-novel-video-editing-tool-for-user-friendly?categoryId=129388