ワンクリックで顔のピクセル画像を生成し、Animal Crossingにアップロードしましょう！このプロジェクトは楽しい

日本の独立系開発者佐藤氏はアスペルガー症候群のため学校を中退、退職。その後独学でAIを学び、AI画伯プロジェクト（AI Master Painter）を開発。日米で大反響を呼び、10日間でユーザー数100万人を達成した。さらに、彼女は入力画像をワンクリックでピクセル絵画に変換できる PixelMe という別の興味深いプロジェクトも作成しました。

画像をピクセルアートに変換するためにまだ PS を使用していますか?日本の独立系開発者佐藤ニート氏は独学で人工知能技術を学び、ポートレート写真をワンクリックでピクセルアートに変換できるウェブサイト「PixelMe」を開発した。生成された画像は、最近人気のゲーム「あつまれ どうぶつの森」にインポートすることもできる。

それだけでなく、このウェブサイトにはペットモードもあり、ペットの写真をピクセル絵画に変換することができます。

PixelMe URL: https://pixel-me.tokyo/en/

まずは効果を見てみましょう:

PixelMe による画像変換効果。左上は入力画像、右上は 128x128 ピクセルの生成結果、2 行目はそれぞれ 64x64、48x48、32x32 ピクセルの生成結果です。

処理中にポートレート写真が切り取られ、頭部のみが残されていることがわかります。変換された画像には、128x128、64x64、48x48、32x32 の 4 つのピクセル タイプがあり、ユーザーが選択できます。

また、変換結果のデフォルトの背景色は無色ですが、ユーザーは背景色をカスタマイズできます。

背景色が空色に設定された、変換された 128 x 128 ピクセルの画像。

次はペットモードを試してみましょう。猫ちゃんにアクションをさせてあげましょう！

効果はOKですが、醜いマスターはもっと醜いようです...

ピクセル化も見た目次第のようです。

効果を確認したところで、PixelMe の技術的な詳細を見てみましょう。

PixelMeピクセルマップ変換の原理

Pixel-me は、pix2pix モデルを使用して 8 ビット スタイルのポートレート画像を生成します。

Pix2pix は、Zhu Junyan らが執筆した論文「Image-to-Image Translation with Conditional Adversarial Networks」から生まれた、GAN アーキテクチャに基づくスタイル転送モデルです。 Pix2pix は、ペアになった画像データを使用して、ある画像から別の画像に変換する方法を学習し、リアルな画像を生成します。

pix2pix を使用して、さまざまなスタイルや目的の画像を変換します。

PixelMe と pix2pix の違いは、モデルのトレーニングにピクセル化された画像を使用し、モデルがピクセル画像を出力する点です。

著者について

これらの興味深いプロジェクトの作成者は人工知能の訓練を受けていません。佐藤さんは10年前に東京の学校を中退し、その後看護学校に通い、パン職人としての訓練も受けた。アスペルガー症候群のため職場環境にうまく適応できないかもしれないと気づいた佐藤さんは、人工知能というまったく新しい分野に挑戦することを決意した。

佐藤さんは2年前からAIの勉強を始めました。佐藤さんは大学で基本的なプログラミングの授業をいくつか受けただけでしたが、最新の AI テクノロジーを使って興味深いプロジェクトを作成し、それをコミュニティと共有できるように、Python と JavaScript を学びたいと考えていました。

佐藤さんは、上で紹介したPixelMeのほかにも、独自に開発したプロジェクト「AI画伯」を今年3月にリリースしている。このプロジェクトでは、ユーザーがウェブサイトにアップロードした肖像写真を古典絵画風の絵画に変換することができます。

AI画伯 URL: https://ai-art.tokyo/en#/

引き続き男性の写真を例にとると、AI 画伯によって生成された油絵は以下のようになります。

AI ガハクの出現効果。左の画像が入力で、右の画像が出力のクラシックスタイルの肖像画です。

さらに、このプロジェクトではフィルターの使用もサポートされており、ユーザーはさまざまなフィルターをクリックして、生成された絵画のスタイルを変更できます。

このウェブサイトでは、画像スタイルの転送に pix2pix ベースの ML モデルも使用しており、アップロードされた写真を入力として受け取り、リアルなクラシックなポートレートを生成します。

このウェブサイトはTwitterで共有された後、まず日本で話題となり、その後アメリカやその他の国でも話題になりました。現在、AI画伯は世界中で毎日約100万人のユーザーが利用しています。

佐藤がやったらしい。