プロのアニメーターがGANを使って「怠け者」を助ければ、数週間かかる仕事を数分で終わらせられる

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

視覚効果アーティストと GAN が力を合わせると、作成するアニメーションの見栄えは良くなるでしょうか?

答えは「はい」です。

これは、海外版TikTokで大人気の女の子、ベラ・ポーチの動画を使って、視覚効果アーティストが作成したオバマのTikTokバージョンです。

アニメーション効果がリアルで表現が鮮明なだけでなく、GAN によって生成されたキャラクターは誤って「デモデル化」されることはありません。

当時、このプロのアニメーターは AI に触れるとすぐに、アートを創り出す AI の「能力」に魅了されました。GAN を使用してビデオ内のキャラクターをアニメーション化するのにかかった時間はわずか数分でした。

一方、通常のソフトウェアを使用してアニメーションを作成する場合、アニメーターには数週間かかることもあります。

しかし、彼はすぐに、既存の AI 顔アニメーション モデルによって生成された漫画のキャラクターがあまりにも醜いことに気づきました。

下の画像のように、安倍晋三をAIでアニメ化したら、漫画のキャラクターの顔があまりよく見えなくなってしまいました…

△アニメ後、額が少し黒くなって変な感じに

そこで彼は自ら行動を起こし、既存の GAN モデルを最適化し、調整しました。

効果は抜群です！

普通の人間の顔が美化されたように見えるだけでなく、この漫画画像はディズニーアニメの主人公に匹敵します。

オバマ氏でさえ「若返り」、美容フィルターをかけるよりも若く見える。

さらに、事前に録画されたビデオからでも、誰でもこれらの漫画キャラクターの表情をコントロールできます。

では、このアニメーション効果はどのようにして実現されるのでしょうか?

転移学習の魔法

この視覚効果アーティストは、見栄えの良い漫画キャラクターを作成するために特別な方法を使用することを選択しました。

彼は転移学習を使用して 7×6 の表を生成し、転移学習の強さに基づいてさまざまなスタイルの顔を生成しました。

つまり、転移学習の強度が大きければキャラクターは漫画風に近づき、転移学習の強度が小さければキャラクターは実写に近くなります。

画像が左下隅に近いほど肖像画はより現実的であり、右上隅に近いほどキャラクターはより漫画的であることがわかります。

こうすることで、キャラクターの特徴を最大限に保持し、漫画の顔をよりリアルに見せることができます。

さらに、AIは「顧客ニーズ」に基づいてより適切なポートレートを決定し、データのトレーニングを行うことができます。

ユージン老人でさえ、かなり若く見え、「カールじいさんの空飛ぶ家」に出てくる心優しいおじいさんの面影さえ少し残しています。

その中で、視覚効果アーティストはGANを使用して漫画キャラクターの画像を生成しました。

「性別」と年齢を変更できる

このビジュアルエフェクトアーティストが使用する基本モデルは、主にDeepAIをベースにしたJustin PinkneyとDoron AdlerによるStyleGAN2 FFHQ （Nvidiaのモデル）です。

StyleGAN の原理は、入力層を廃止し、非線形マッピング ネットワークを追加することです。

さらに、スタイルベースジェネレーターと呼ばれるジェネレーターを革新し、髪型やそばかすなど、生成された画像の高度な属性を制御できるようになりました。

さらに、この StyleGAN には、さまざまな顔データセットを含むオープンソースデータセット FFHQ が付属しています。

このビジュアルエフェクトアーティストは、StyleGAN2 FFHQ を微調整しました。

GAN によって生成されたキャラクター画像は、漫画化できるだけでなく、様式化して、同様のスタイルを持つキャラクターの表情や特徴を生成することもできます。

かわいい子供を漫画化できるだけでなく、眉毛や顔の特徴に基づいて女の子の顔を構築することもできます。

キャラクターが「成長」すると、ステレオタイプの女の子の顔もより大人っぽくなります。

このソフトウェアはまだオープンソース化されていないのは、視覚効果アーティストが自分の作成したアニメーションにあまり満足しておらず、まだ改善の余地があると考えているためだと思われます。

しかし、ネットユーザーたちは少し焦っているようだ。

二次元世界を愛するネットユーザーの中には、このようなツールによってあらゆる漫画がアニメ化されるようになるのではないかと期待する声もあった。

一部のネットユーザーも、このようなツールは素晴らしいと述べ、作者が作品に満足した後、オープンソース化する意思があるかどうか疑問に思っているようだ。

このビジュアルエフェクトアーティストが目標を達成し、モデルコードをオープンソース化してくれることを願っています。

著者について

Nathan Shipley は、視覚効果アーティスト、モーション グラフィックス アーティスト、クリエイティブ テクニシャンです。彼の現在の研究対象は、AI 生成アートです。

さらに、この特殊効果アーティストは、2019年にフロリダ州セントピーターズバーグのダリ美術館でシュルレアリスムの画家サルバドール・ダリ自身を「復活」させた。

画家ダリの作品に興味がある来場者は、ボタンを押すだけで、スクリーン上でダリが生き生きとした表情で「挨拶」してくるのを見ることができます。

彼の作品に興味がある方は、下のホームページアドレスをクリックしてご覧ください。

Nathan Shipley のホームページアドレス:
http://www.nathanshipley.com/gan