AIが中国の山水画を生成！プリンストン大学の女子学生が卒業制作で描いた線と筆致は、人間の観察者の半数を騙した。

GAN を使用して作品を制作することは新しいことではないようです。

2019年、NVIDIAはGTCカンファレンスで人工知能画像ジェネレーター「GauGAN」を発表しました。ユーザーは数本の線を描くだけで、美しい風景写真を自動的に生成できます。

この AI が使用する技術は、Generative Adversarial Network (GAN) であり、これも画像生成に広く使用されているディープラーニング モデルです。

これには、昨年MITとIBMワトソン研究所が共同でリリースしたAI Portraits Arsも含まれる。ユーザーはオンラインで自分の写真を中世風に最適化されたスタイルに変換できる。このオンラインツールは人気が高く、ウェブサイトがクラッシュするほどだった。

「これは単なるスタイルの転送ではないのか？」と言うかもしれません。

いいえ、チームのメンバーは、これはスタイルの転送ではなく、線から色調まで、人間の画家と同じように、実際の人々の外見に基づいて AI 自体によって作成されたものであることを強調しました。

しかし、東洋と西洋の間には大きな文化的隔たりがあるように、芸術とテクノロジーの融合の分野では、AI は西洋に傾倒しているようです。AI が生成したリアリズム、ポストモダニズム、さらには抽象的な作品は数多く見られましたが、伝統的な東洋芸術における AI のパフォーマンスを見ることはまれです。

最後に、プリンストン大学の学部生であるアリス・シュエさんは、中国の山水画に目を向けました。

彼女は大学院論文で、中国の伝統的な山水画を生成できるSAPGAN（Sketch-And-Paint GAN）と呼ばれるAIモデルを開発し、これによりプリンストン2020年度優秀大学院論文賞も受賞しました。

論文リンク:

出典: http://arxiv.org/pdf/2011.05552.pdf

論文では、242人を対象としたチューリング視力検査研究で、SAPGANによって作成された絵画が人間の芸術作品と間違われる頻度が55%にも上り、ベースラインのGANモデルによって作成された絵画の頻度よりも大幅に高いことが示されたと述べられています。

人間と同じように、まずスケッチしてから色を塗る

中国の伝統的な山水画を描く工程には、一般的に、輪郭線、刻み込み、点描、染色などのステップが含まれます。名前の通り、まず大体の輪郭線を描き、次にレンダリングを行います。

AIice が提案する中国の風景画を生成するためのエンドツーエンドの無条件入力モデルもこのステップに従います。このプロセスを実現するために、AIice は次の 2 つのモデルを構築しました。

• ステージI: SketchGAN
• ステージ II: PaintGAN

SketchGAN はサンプル画像から高解像度のエッジ マップを収集し、PaintGAN は SketchGAN に基づいて「変換」して完全な風景画を生成します。

中国人は誤解する可能性が高い

実験の結果も驚くべきものでした。

最終評価では、242 人の参加者のうち、モデルによって生成された絵画の半分以上 (55%) が誤って人間の作品であると識別されました。

視覚的チューリングテストのスコア分布。参加者に芸術作品が人間によって作られたのか、コンピューターによって作られたのかを判断するよう求めます（平均 = 70.5%）

SAPGAN モデルは、「美的喜び」、「芸術的構成」、「明瞭さ」、「創造性」の点で、すべての芸術カテゴリで一貫してベースラインよりも高いスコアを獲得しています。 SAPGANと人間の絵画の最大の違いは「鮮明さ」です。

驚くべきことに、中国人はSAPGANに騙されやすいかもしれない。中国語を母国語とする私たちは、いくつかの風景画を見たことがあります。しかし、風景画がSAPGANによって作成されたかどうかを判断するとなると、中国人は騙されやすいかもしれません。

著者らは、中国語と英語を母国語とする参加者の結果を比較し、文化的な接触によって中国人の参加者が絵画を正しく判断できるようになるかどうかを調べた。しかし、中国語を話す受験者の平均得点は49.2％で、英語を話す受験者の73.5％よりも大幅に低かった。

言い換えれば、中国語話者は依然として 70% の確率で SAPGAN の絵を人と間違えており、全体的なレベルは 55% です。どうやら、中国文化への精通度にかかわらず、参加者は絵画の起源を区別するのが困難だったようだ。

2,000枚以上の風景画データを集めてGitHubで公開しました

この記事で提案されているモデルは、Baidu や Google からではなく、著者自身が収集した中国の伝統的な風景画の新しいデータセットでトレーニングされています。

AIiceによると、現在の山水画データセットは、ユニークさに欠け、画像の品質と量が不十分であるという問題があるとのこと。この分野の発展を促進するため、Alice自身がプリンストン美術館のコレクションから2,192点の高品質の伝統的な中国山水画からなる新しいデータセットを構築しました。

現在、これらの貴重な絵画は生成的創造研究によってほとんど手つかずのまま残されており、著者らはこのデータセットを GitHub で公開して一般に公開しています。

アリス氏は同校とのインタビューで、「プリンストン大学美術館には中国絵画の素晴らしいオープンデジタルコレクションがあり、私のデータセットにとって貴重なものですが、残念ながらほとんどの研究者はそれを十分に活用していません」と語った。

データセットリンク

https://github.com/Alice x 2020/中国の風景画データセット

私は論文を書く前に機械学習の授業を受けたことがなく、Facebookで働くつもりでした

これを見ると、アリスは「上級プログラマー」だと思うかもしれません。しかし彼女は、「この論文を書いたとき、私は機械学習の授業を受けたことがなかったので、私のような初心者が既存の革新的な研究に何を貢献できるのかという疑問にしばしば圧倒されました。しかし、人の興味やスキルはそれぞれ異なるため、問題に取り組む興味深い角度が常に存在することがわかりました。」と語った。

他の学生へのアドバイスとしては、デジタル人文学を自分の仕事に取り入れることは自然なことであるべきだとアリスさんは言います。 19 世紀の文学でもジャズでも、興味のあるものを見つければ、そこからデータを収集したり、分析したり、関連する技術ツールを作成したりする方法は常に存在します。

将来の計画について話すとき、アリスは Facebook で働いてソフトウェア エンジニアになるつもりだと言いました。