Google AIのスターがPika: ビデオ生成Lumiereの創設科学者に就任

動画世代が猛スピードで進化する中、ピカは偉大なる将軍を迎える――

Google の研究者である Omer Bar-Tal 氏が Pika の創設科学者を務めています。

1か月前、Googleの共同執筆者としてビデオ生成モデルLumiereをリリースしたのですが、その効果は驚くべきものでした。

当時、ネットユーザーたちはこう言っていた。「Google がビデオ世代の戦いに参戦し、また素晴らしい番組が見られるようになるだろう。」

Stability AIのCEOや元Googleの同僚など、業界関係者の一部は祝福の言葉を送った。

オメル・バータルは2021年にテルアビブ大学の数学・コンピュータサイエンス学部を卒業し、その後ワイツマン科学研究所に進学してコンピュータサイエンスの修士号を取得し、画像とビデオの合成分野の研究に重点を置きました。

彼の論文結果は、Text2LIVE（ECCV 2022 Oral）、MultiDiffusion（ICML 2023）、TokenFlow（ICLR 2024）など、トップカンファレンスで何度も採択されています。

彼らはTokenFlowを例に、トレーニングや微調整なしでビデオ編集タスクをサポートする拡散モデルに基づいたテキスト駆動型のビデオ編集を実装するためのフレームワークを提案しました。

Pika に入社する前は、Google Research で学生研究者として 9 か月間勤務し、7 か月間の研究を経て、ついに共同筆頭著者としてLumiereを立ち上げました。この時点では修士号はまだ取得していないはずです。

Lumiere の革新性は、提案された時空間 U-Net (STU-Net) アーキテクチャにあります。ビデオは空間次元と時間次元の両方で同時にダウンサンプリングおよびアップサンプリングされ、ネットワークの中間層でビデオの圧縮された時空間表現が得られます。

Lumiere は 3,000 万本のビデオから学習し、ビデオ生成、ビデオ編集と修復、画像からビデオへの変換、ビデオのスタイル設定など、複数の機能をサポートできます。

当時、ジェフ・ディーンは「マルチモーダルビデオ生成革命が起こっている」と称賛しました。

ピカへの参加が正式に発表されると、関係者や投資家からも祝福の声が上がった。

数日前、ピカの Yilun Du という中国人研究者が論文を発表しました。しかし、彼はちょうど MIT で博士号を取得したばかり(あるいはまだ卒業していない)のはずで、論文の単位は依然として MIT のままです。

なお、公式サイトでは引き続き募集中です。