AIがワンクリックでタトゥーを除去し、数秒でスターの「素顔」を見ることができる

時には、他人のタトゥーを真似されないように隠す必要があることもあります。時々、人々は単に好奇心から、タトゥーのない大スターがどんな風に見えるのか知りたいと思うことがあります。インドの機械学習研究者である Vijish Madhavan 氏は最近、私たちのニーズを満たす SkinDeep という機械学習ツールを公開しました。

ネットユーザーもこのツールを使って、タトゥーが濃い人の写真を加工してみたが、効果はかなり良かった。

このプロジェクトの作者であるヴィジッシュ・マドハヴァンは、カナダの歌手ジャスティン・ビーバーのMV「Anyone」を見て、このプロジェクトのアイデアを思いついた。ジャスティン・ビーバーはメイクアップアーティストの助けを借りてタトゥーを隠すのに何時間も費やした。

MVビデオの効果は完璧です。ビデオ出力を作成するのは非常に難しいため、プロジェクト作成者は処理する画像を選択しました。このプロジェクトの出発点は、ディープラーニングでこの仕事ができるかどうか、そしてそれが Photoshop と比べてどうなのかということでした。

プロジェクトアドレス:
https://github.com/vijishmadhavan/SkinDeep

なぜタトゥーをフォトショップで消さないのかと疑問に思う人もいるかもしれません。 Photoshop を使用すると非常に良い結果が得られますが、問題は Photoshop を使用するには専門知識が必要であり、タトゥーの処理に PS を使用する場合は、画像全体の修正に数時間かかる可能性があることです。

まずは効果を見てみましょう。アレン・アイバーソン（アメリカのバスケットボール選手）はこのモデルを使ってタトゥーを除去しました。

下の図の 1 行目が入力画像、2 行目が出力画像です。出力結果ではタトゥーが除去されたことが明確に示されています。

濃いタトゥーやその他の装飾が施された顔の画像からも、AI によるタトゥー除去が非常にうまく機能していることがわかります。

プロの画像処理ソフトウェアPhotoshopと比較しても、効果は良好です。

SkinDeep は効果があるようですが、タトゥーが色付きの場合は跡が残ってしまいます。

プロジェクト紹介

著者によると、このプロジェクトを完了するには大量の画像ペアが必要だそうです。適切なデータセットがないため、トレーニング コンテンツは合成データを使用して完了することがよくあります。具体的には、次のようになります。

まず、Python OpenCV 実装を使用して、APDrawing データセットの画像ペアに、背景を削除したタトゥーのデザインの画像を重ね合わせます。

描画データセットにはタトゥーの線をシミュレートする線画のペアが含まれており、モデルがこれらの線を学習して削除するのに役立ちます。

APDrawing データセットには頭部画像のみが含まれています。全身画像については、プロジェクト作成者は以前のプロジェクト ArtLine を使用し、出力を入力画像に重ね合わせました。

ImageDraw.Draw はフォレストグリーンのカラーコードで使用され、fast.ai の Crappify と同様にボディイメージ上にランダムに配置されます。

Photoshop は、曲げや角度の変更が必要なオブジェクトにタトゥーを配置する際にも使用されます。

このプロジェクトは Fast.AI ライブラリを使用して構築されており、fastai バージョン 1.0.61 (およびその依存関係) と PyTorch 1.6.0 をインストールする必要があります。それ以上のバージョンはサポートされていません。

このプロジェクトを試す最も簡単な方法は、Colab を使用することです。

https://colab.research.google.com/github/vijishmadhavan/SkinDeep/blob/master/SkinDeep.ipynb

出力は 500 ピクセルに制限されます。

制限

タトゥー除去のための機械学習モデルは複雑に見えませんが、現実世界の奇妙な状況では、依然として「マッピング エラー」が発生することがあります。プロジェクトの開発者は、データセットのサポート不足により、トレーニングに使用されるデータセットの容量が限られていると述べています。さらに、カラータトゥーを入れている場合、残念ながら現時点では人工知能はそれを認識できないようです。

このエフェクトをウェブサイトにしたり、美容アプリのフィルターにしたりできたら素晴らしいと思います。最後に、SkinDeep は逆に人の体にタトゥーを入れることができるのでしょうか? 「試着」効果が人気になるかもしれません。