OpenAI が Stable Diffusion を救います! Ilya Song Yang らによるオープンソースの Dall E3 デコーダー

OpenAI が Stable Diffusion を救います! Ilya Song Yang らによるオープンソースの Dall E3 デコーダー

予想外にも、OpenAI は「競合相手」である Stable Diffusion を活用しました。

話題の「AI Spring Festival Gala」で、OpenAI は 2 つの作品を一度にオープンソース化しました。その 1 つは、SD 専用の VAE モデルである一貫性デコーダーです。

複数の顔、テキストを含む画像、線の制御など、より高品質で安定した画像生成が可能になります。

大手 V ブロガーは、このデコーダーはDall·E 3 と同じであるはずだと分析し、OpenAI も GitHub プロジェクトページで Dall·E 3 の論文を提供しました。


サポートされる具体的なバージョンは、Stable Diffusion 1.4/1.5 です。

プロジェクトページには例が1つだけ掲載されており、具体的なトレーニング方法も記載されていない。ネットユーザーらはこれを「口数の少ない冷酷な人風のオープンソース」と呼んでいる。

そのままロードして使用することができます。

そして、この一貫性デコーダーには長い歴史があります。

これは、OpenAI の共同設立者兼主任科学者の Ilya 氏、OpenAI の中国の新星 Song Yang 氏らが提案した一貫性モデルから生まれたものです。

このモデルが今年上半期にオープンソース化された際、業界に衝撃を与え、「普及モデルに終止符を打つ」可能性があると評された。

つい最近、Song Yangらはモデルのトレーニング方法を最適化し、画像生成の品質をさらに向上させることができました。

開発者デーでのもう一つの主要なオープンソース リリースは、大規模な音声モデル Whisper 3 でした。これは、GPT シリーズの構築に重要な役割を果たした伝説の人物、アレック・ラドフォードによって作成されました。

ネットユーザーはため息をつくほかなかった。「OpenAI がオープンソース化されるのは嬉しいし、今後もさらに多くのモデルが公開されることを期待しています。」

一貫性モデルは進化した

まずは、もともと世界的に有名だった一貫性モデルの最初のバージョン(Consistency Models)を見てみましょう。

拡散モデルでは段階的な反復により画像生成が遅くなるという問題を解決することを目的としています。約 64 枚の 256×256 画像を生成するのにかかる時間はわずか 3.5 秒です。

拡散モデルと比較すると、主に 2 つの利点があります。

まず、敵対的トレーニングなしで高品質の画像サンプルを直接生成できます。

第二に、拡散モデルでは数百、あるいは数千回の反復が必要になる場合もありますが、一貫性モデルでは、さまざまな画像タスクを処理するのに 1 つまたは 2 つのステップしか必要ありません。

カラー化、ノイズ除去、超解像度など、これらのタスクの明示的なトレーニングを必要とせずに、すべて数ステップで実行できます。 (もちろん、少数サンプル学習を行えば、生成効果はより高くなります)

原理的には、一貫性モデルはランダムノイズを複雑な画像に直接マッピングし、出力は同じ軌道上の同じポイントとなるため、ワンステップ生成が実現されます。

この論文では、2 つのトレーニング方法を提案しています。1 つは一貫性蒸留に基づくもので、事前トレーニング済みの拡散モデルを使用して隣接するデータ ペアを生成し、モデル出力間の差異を最小限に抑えることで一貫性モデルをトレーニングします。

もう 1 つのアプローチは、一貫性モデルを別の生成モデルとしてトレーニングする独立したトレーニングです。

実験結果によると、一貫性モデルは、1 ステップおよび数ステップのサンプリングの両方で、漸進的蒸留などの既存の蒸留技術よりも優れていることが示されています。

スタンドアロン生成モデルとしてトレーニングされた場合、一貫性モデルは、CIFAR-10、ImageNet 64×64、LSUN 256×256 などの標準ベンチマークで既存のワンステップ非敵対的生成モデルと同等のパフォーマンスを発揮します。

半年後に出版された論文の第2版では、トレーニング方法が最適化されました。

重み関数、ノイズ埋め込み、ドロップアウトを最適化することで、一貫性モデルは学習した特徴に依存せずに優れた生成品質を実現できます。

重み関数の選択が改善され、ノイズ レベルが増加するにつれて重み関数が減少するようになっており、これにより、ノイズ レベルが小さい場合の一貫性の損失がより重視され、サンプルの品質が向上します。

同時に、ノイズ埋め込み層の感度が調整され、小さなノイズの違いに対する感度が低くなり、連続時間一貫性トレーニングの安定性が向上します。

また、一貫性モデルでより大きなドロップアウトを使用し、教師ネットワークで EMA を削除し、擬似 Huber 損失関数を学習した特徴距離 (LPIPS など) に置き換えると、画像の品質がさらに向上することがわかりました。

もう一つ

この最新のオープンソース デコーダーに戻ると、実際のテスト エクスペリエンスの最初の波がここにあります。

今のところ効果はあまり明らかではなく、走るスピードが遅いという報告が多くありました。

しかし、これはまだ初期のテストであり、将来的にはさらに改善される可能性があります。

特筆すべきは、一貫性モデルの立ち上げを主導した宋楊氏は若手ながら、普及モデル界ではOG(ベテラン)と評価されていることだ。

△NvidiaのAI科学者ジム・ファン氏のTwitterより

今年、宋楊もその一貫性あるモデルのおかげで有名になった。この男は16歳で理科の成績トップで、清華大学に進学した。彼に関する他の記事は、こちらをクリック:OpenAIの人気新星、宋楊:最新の研究は「普及モデルの終焉」と評価され、16歳で清華大学に進学した。

論文の宛先:

[1] https://arxiv.org/abs/2310.14189.

[2] https://arxiv.org/abs/2303.01469.

<<:  描いた場所に画像が動きます! Gen-2の新機能「マジックブラシ馬良」が大ヒット、ネットユーザー:緊急、緊急、緊急

>>:  PaddleOCRのスーパーパワーを解き放つ

ブログ    
ブログ    
ブログ    
ブログ    

推薦する

給料の心配はやめましょう。これは今後 10 年間で最も収益性の高い業界であり、横になっているときでもお金を稼ぐことができます。

小米創始者の雷軍はかつて「風の吹き口に立てば豚でも飛べる」と言った。事実は往々にしてこの通りだ。人の...

ZTouch創設チーム:私たちの価値観を守り、新世代のグローバル企業のデジタルインテリジェンスパートナーになる

今日のデジタル時代では、顧客獲得の方法はよりシンプルになりましたが、さまざまなプラットフォームでの煩...

データのクリーニングと前処理の完全ガイド

データの前処理は、機械学習モデルを構築する際の最初の (そしておそらく最も重要な) ステップであり、...

機械経済の到来: つながる世界を動かす

機械経済は、長年にわたる急速な社会の発展と新しい製造プロセスへの移行によって進化してきました。第一次...

マスク氏はテスラ向けにChatGPTをカスタマイズする予定

編纂者:ヤン・ジェン制作:51CTO テクノロジースタック(WeChat ID:blog) Chat...

...

IoTとAI: この強力な組み合わせの5つの興味深い応用

人工知能は現代世界のあらゆる分野を征服しつつあります。しかし、それらはすべて私たちにとって良いことな...

現在最も興味深い AI は、実は系図会社から生まれたものなのでしょうか?

この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載...

AIツアーはAIIA AI開発者会議のサポートで終わりに近づいています

強力なコンピューターと複雑かつ絶えず変化する人間の知性が出会うと、どのような火花が散るのでしょうか?...

Redditのランキングアルゴリズムの仕組み

これは、「Hacker News のランキング アルゴリズムの仕組み」に続く、ランキング アルゴリズ...

...

スタンフォード大学の64歳の学長が辞任!学術不正スキャンダルが勃発、95ページの調査報告書が公表

今日、衝撃的なニュースが突然飛び込んできました。スタンフォード大学のマーク・テシエ・ラヴィーンの学長...

...

AI大学院生は年間50万元を稼ぐことができるが、彼らの給料は学校を卒業する前からすでに奪われている。

先週末、人工知能が素晴らしい動きを披露した。ボストン・ダイナミクスのロボット「アトラス」は完璧なバク...

...