比類のない美しさ！ AIが90年前の梅蘭芳を復元：目と眉毛が感情を伝え、生きているかのよう

[[407844]]

約 100 年前の白黒画像にカラーを施すと、歴史的な意味がさらに増すのでしょうか?

最近、AI を使って崑曲オペラの一部が復元されました。

この映画は、1930年にアメリカで梅蘭芳が崑曲のオペラ「刺虎」を上演した際に制作されたものである。ブロガーは、100年前の旧北京のオリジナルサウンドトラックを復元したアップブロガーの@大谷Spitzerさんです。今回もAIを活用して、着色、フレームの塗りつぶし、ノイズ低減などの工程を完了し、90年前の梅蘭芳氏のスタイルを復元しました！

それを見たネットユーザーは「すごい！」と絶賛した。とても美しい！

貴重な映像が復元され、カラー化され、梅蘭芳を再び自分の目で見ることができる

映画の冒頭で、ハリウッドの中国人女優スー・ヨンは「梅蘭芳さんは女性役を演じましたが、文字通り女性の真似をしたわけではありません。実際の女性を真似しようとしたのではなく、セリフや動作を通して理想的な女性像を作り出そうとしたのです」と紹介した。

彼女の声には色が宿る！

すると、梅蘭芳さんの映像が映し出されました。

‍

彼は「将軍は比類なき英雄、王朝の柱である…」と歌った。眉をひそめたり笑ったり、言葉や声色のひとつひとつが美しく、ドラマチックだった。

当時36歳だった梅蘭芳は、公演のためにアメリカへ渡った。これは彼の初期の舞台での唯一のビデオ映像であり、中国の京劇がアメリカに上陸した初めての機会でもあった。

色鮮やかな写真を見ていると、まるで1930年代にタイムスリップして、梅蘭芳氏の優雅さを自分の目で目撃したかのような気分になります。

古いため、このビデオ映像の音声付きビデオは 1 分間のみ残っており、サウスカロライナ大学のフィルム画像ライブラリに保存されています。

熱狂的なファンはこう語った。「オリジナルのビデオを100回以上見てきましたが、今回ようやく復元版を見ました！」

ブロガーの@大谷Spitzerに感謝の意を表す人もいました。

それで、今回大谷はどうやったんですか？

複数のオープンソースツール、RIFE + 中国プロジェクト GPEN が 1930 年に戻る

大谷氏は「前号の技術プロセスを引き継ぎ、RIFEやDeep-Exemplar-based-Video-Colorizationなどの一連の人工知能プロジェクトを使用しました。手描きと組み合わせて、この抜粋の修復を完了しました」と紹介しました。

その中でも、RIFE は古い画像の高いフレーム レート要件を満たすことができるリアルタイム ビデオ補間ソリューションです。

さらに、大谷さんがよく使うもう一つのフレーム埋めプロジェクトがDAINです。

彼が言及した2番目のプロジェクトは次の通りです。
ディープエグザンプラベースのビデオカラー化。

これは、画像検索と画像の色付けを組み合わせたモデルから生まれます。このモデルは、まず多数の参照画像からグレースケール画像に類似した画像を取得し、次に参照画像の配色をグレースケール画像に転送することで、非常に優れたカラー化効果を実現します。

「今回は、AI技術を使って音からノイズを除去し、元の音よりもクリアな音に仕上げました。同時に、新しいオープンソースAIプロジェクトGPENを試し、高解像度の顔面補正も行いました。」

GPEN（GAN事前埋め込みネットワーク）は、2021年に新しく登場したオープンソースプロジェクトです。中国人によって作成され、アジア人の肖像画の復元に優れた効果を発揮します。

結果は、最先端の盲人顔復元方法を大幅に上回る性能であることを示しています。

こうして、一連の手術を経て、梅蘭芳さんの素晴らしいオペラ公演が完成しました！

「90年代以降のフルスタックアーティスト」大谷がAIを使って時空を超えて旅する

大谷氏は1991年（30歳）北京生まれ、ニューヨークのスクール・オブ・ビジュアル・アーツでコンピューターアートの修士号を取得。アーティスト、ミュージシャン、プログラマー、そして独立系ゲームデザイナーとして、私の生産性は爆発的に向上しました。

Steam ゲーム、オリジナルのゲーム音楽、手描きスケッチ、アニメーションなど、彼の作品をぜひ体験してください。

フルスタックエンジニアについてはよく耳にしたことがあるかもしれませんが、フルスタックアーティストについてはご存知ですか?彼はゲーム、コミック、3D、VR、音楽に精通しています。もちろん、オープンソースに基づくいくつかの AI モデルを実行することも簡単です。

大谷氏は、これらのオープンソースのAIモデルを使用するだけでなく、優れたポストプロダクション技術と組み合わせることで、100年前の北京の古い生活や上海のファッションショーを人々の前に鮮やかに再現しました。

次回は誰が復帰すると予想しますか?