百度研究所が新しいAIツールを発表：10分以内に記事を自動的に動画に変換可能

[[322859]]

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

人工知能技術により、自動ビデオ編集が実現できるようになりました。

あらかじめ用意された画像とテキストのリンクがあれば、AIが画像とテキストに記述されたテーマに沿って言語を再構成し、自動的に素材を検索して短い動画を切り出すことができます。

つまり、興味深いニュースを見たけれど記事を読むのが面倒な場合は、読んでいる記事のアドレスをAIに入力するだけで、その記事が自動的に短い動画になります。

さらに、このプロセスはわずか数分で完了し、完全に無人で自動で行われます。階下に降りてコーヒーを 1 杯買うと、ビデオが自動的に作成されます。

この「AI動画作成」技術は百度研究所が開発したもので、製品はVidPressと呼ばれています。ご覧のとおり、自分の誕生を報告するビデオを作成できます。

普通のテレビニュースのようでした。今では、ビデオ編集者は、素材の検索、スクリプトの修正、特殊効果の追加、レンダリングとエクスポートのために残業したり夜遅くまで起きていたりする必要がなくなりました。

ビデオ向けAI

本質的に、VidPress は「テキストと画像をビデオに変換する」、つまり人間が書いたテキストと画像をビデオに再編集するものです。上記のビデオの元のテキストを参照してください。

比較してみると、動画と記事のコピーライティング部分は似ていますが、動画で使用されている素材は記事のものよりはるかに多く、キャラクターやシーンのダイナミックなショットが多く追加されており、テーマと非常に一致しています。

ということは、吹き替え部分は音声合成を使って、あとはビデオ編集者が映像素材を探してアップしたということでしょうか？

いいえ。ビデオ全体は AI によって生成されます。ビデオ編集者は記事へのリンクを提供するだけで、数分後にはホットなビデオが公開されます。

信じられないなら、読み続けてください。

リンクがあれば、ビデオは自動的に生成されます

VidPress でビデオを作成するには、ビデオ編集の技術的な知識は必要ありません。コピーと貼り付けの方法を知っていれば十分です。

まず、ビデオに変換する記事のアドレスをコピーし、VidPress に貼り付けます。

次に、合成するサウンドを選択し、必要なビデオの長さと解像度を決定します。

今では、ビデオ編集者は AI に作業を任せるだけで済みます。

AI はグラフィックとテキストのコンテンツを取得した後、NLP モデルを使用して意味理解を実行し、トピック モデルを使用して関連するニュースと資料を集約します。

その後、音声と画像の編集を別々に完了する必要があります。

音声に関しては、システムは複数の言語モデルを使用して元のテキストを処理および解析し、解説を生成し、音声合成技術の助けを借りてそれを音声に変換します。

画像に関しては、原文の写真だけでは明らかに不十分であり、より多くの動画や画像素材を探す必要があります。素材のソースは、ビデオ編集者の独自の素材ライブラリにすることも、Baidu 検索を直接使用して素材をリアルタイムで見つけることもできます。

素材を見つけたら、顔認識、オブジェクト認識、OCR、ビデオコンテンツ理解などのテクノロジーを使用して、ビデオ素材のコンテンツを解析して理解し、適切なクリップを自動的にカットして選択する必要があります。

ビデオ素材と解説のオーディオ ファイルが用意できたので、この 2 つを 1 つに結合する必要があります。このタスクのために、Baidu は 2 世代の配置アルゴリズムを開発しました。第 1 世代は段落配置に基づいており、第 2 世代はアンカー ポイントのタイムライン配置に基づいています。

第 2 世代のアライメント アルゴリズムでは、まず解説における視聴者の関心ポイントを見つけ、次に、素材のソース、類似性、画像/ビデオ コンテンツの適合性、コンテンツの品質などの側面を考慮して、検索された素材とこれらの関心ポイントの関連性をスコア付けする必要があります。

その後、高得点を獲得した素材が最初にめくられ、ビデオタイムラインの注目ポイントに配置されます。残りの素材を隙間に埋めていき、最終的にタイムライン全体のコンテンツ配分を調整していきます。

これで、AIが動画を作成し、レンダリングすると、完成した動画になります。

このプロセスには数分しかかかりません。エディターが VidPress ページに戻ると、ビデオが自動的に生成され、字幕が自動的に追加されています。

その後、編集者は手動で変更を加えることもできます。テキストの一部が不十分だと感じた場合は、必要なテキストに置き換えてビデオを再エクスポートできます。

スピードが勝つ

確かに、VidPress は、実際のビデオ ブロガーが特別に企画して撮影した短いビデオを現時点では作成できませんが、ニュース速報ビデオの作成に使用する場合、VidPress のレベルはすでに商用利用に十分です。実際のアナウンサーがいないことを除けば、作成されたビデオは以前のテレビ ニュース番組と非常によく似ています。

しかし、その利点はそのスピードにあります。ビデオを生成するのに10分以上かかることもあり、その半分の時間はAIが自動的に作業しています。人間のビデオ編集者は、リンクを貼り付けて、サウンドと時間解像度を設定するだけで済みます。ビデオを編集するためにコンピューターの前に座る必要はもうありません。

このような働き方をすると、動画制作に費やす時間は、さまざまなプラットフォームに動画を投稿する時間よりも短くなると言えます。これまで1時間かかっていた仕事が、今では10分で完了するかもしれません。もう残業したり、夜更かししたりする必要はありません。ショートビデオ編集者は、955勤務スケジュールを笑顔で迎えることができます。

このような編集効率により、メロンが来たときに、他の編集者がまだビデオをカットするための素材を探すのに忙しい間に、VidPress を使用している編集者はすでにビデオを作成し、メロンを食べている群衆に送信しています。トレンド検索が削除される前に、10 万回以上の視聴を獲得できます。これは素晴らしいことです。

現在、VidPress が約 2 分の 720p ビデオを生成するのに必要な平均時間はわずか 2.5 分です。

Baidu Haokan Video では、プラットフォーム全体で毎日 500 ～ 1,000 本のビデオを制作でき、これらのビデオに関連するニュースのホットスポットはシステムによって自動的に検出され、生成されます。サーバーが稼働している限り、たとえ自宅で寝転がっていても、プラットフォーム上に動画が次々と表示され、視聴者に自動的に配信されます。

このような高い制作効率は、短編動画の分野ではまさに驚異的です。

ショートビデオは現在非常に人気があり、ボーナス期にあります。テンセント、今日頭条、百度自身も、ショートビデオプラットフォームの開発や投資で競争しています。このようなツールが公開されると、あらゆる規模のクリエイターやMCNが市場で競争する大きなチャンスになります。AIによって作成されたショートビデオは、過去のMade in Chinaのようなさまざまなビデオプラットフォームに殺到し、トラフィックハーベスターの新たな波となるでしょう。

結局のところ、グラフィックコンテンツの制作コストはビデオコンテンツよりもはるかに低いです。良い記事を書いてさえいれば、数分で一致するビデオが利用可能になります。同じ努力で、数倍のトラフィックを獲得できます。したがって、少なくとも現段階では、このタイプのAI生成ビデオは手の届く範囲にあるボーナスです。

おそらく近い将来、誰もがQuantum Bitのビデオ版を視聴できるようになるでしょう。

ポータル

現在、VidPress プラットフォームのトライアルに申し込むことができます。申し込みリンクは次のとおりです:

https://ai.baidu.com/creation/external/labprojectlist