確かにGANによって生成されました！中国のチームは瞳孔の形状で「本物」と「偽物」の肖像画を判定する

写真をじっくり見るだけで本物か偽物かがわかりますか？最近、ニューヨーク州立大学の中国人研究者が、目の形に基づいて肖像画の真贋を判定できる新しい検出方法を提案した。ただし、画像をこのサイズまで拡大できることが前提条件となります。

現在、GAN によって生成された顔は非常にリアルであるため、肉眼での検出でさえボトルネックになっています。

例えば、
https://thispersondoesnotexist.com/ では、ページを更新するたびに、本物と偽物の区別がつきにくい顔が生成されます。

しかし、これらの顔はディープラーニングに基づいて生成されているので、魔法を使って魔法を倒しましょう！

実際の肖像画（左）、GAN で生成された肖像画（右）

最近の研究では、ディープラーニング モデルに基づく検出方法が実際に多くの実行可能なソリューションを提供できることが示されています。

ただし、これらのアプローチには通常、次の 2 つの課題があります。

1. 検出結果には解釈可能性が欠けています。
2. 過剰適合のため、異なる合成方法間の一般化の堅牢性は低くなります。

これらの制限を排除し、より堅牢なモデルを探求するために、ニューヨーク州立大学アルバニー校とバッファロー大学の中国研究者は、不規則な瞳孔の形状を通じてGANで生成された顔を検出する新しい方法を提案した。

論文アドレス: https://arxiv.org/pdf/2109.00162.pdf

結果は、両目から瞳孔を抽出し、その形状を分析することで、GAN で生成された顔と実際のポートレート写真を効果的に区別できることを示しています。

実際の人間の目（左から 4 番目）、GAN によって生成された人間の目（右から 4 番目）

この論文の主な貢献は次の 3 つです。

1. 高品質の StyleGAN で生成された顔には、実際の人間の瞳孔とは異なる不規則な瞳孔の形状が広く見られることがわかりました。

2. 私たちは、不規則な瞳孔の形状を基礎として、GAN で生成された顔を検出できる、シンプルで効果的な新しい生理学に基づいた方法を提案します。

3. 提案された方法は、自動検出方法を設計するために使用できるだけでなく、「肉眼」で GAN によって生成された顔を区別するための新しい手がかりも提供します。

目は騙されない

著者は、人間の目の主要な解剖学的部分から始めます。目の中心は虹彩と瞳孔であり、白い部分は強膜です。

一般的に健康な人の場合、瞳孔の形はほぼ丸いです。しかし、GAN で生成された目には、瞳孔の境界が楕円形ではないなど、明らかなアーティファクトや矛盾が見られます。

人間の目の解剖学

実際の目（左）は瞳孔が明らかに丸い、または楕円形（黄色）です。GAN で生成された目（右）は瞳孔が不規則な形（赤）です。

この現象は、GAN で生成された顔によく見られます。根本的な理由の 1 つは、現在の GAN モデルが人間の目の構造、特に瞳孔の形状を理解していないことです。

メソッドの実装

著者らは、このモデルを使用して両目の瞳孔を自動的に抽出し、これらの瞳孔の形状が楕円形であるかどうかを評価しました。

1. 瞳孔の分割と境界検出

まず、顔検出器を使用して顔の位置を特定し、次に抽出器を使用して顔のランドマークを取得します。

2 つの目に対応する領域を適切に切り取った後、EyeCool を使用して瞳孔マスクとその境界を抽出します。

(a) 入力された高解像度の顔画像、(b) 切り取られた目の画像、(c) 画像 (b) の予測された瞳孔マスク、(d) 画像 (c) の楕円フィッティング後の瞳孔マスク

EyeCool は、瞳孔と虹彩、内側と外側の境界を同時にセグメント化できる、改良された U-Net ベースのモデルです。

エンコーダーとして EfficientNet-B5 が使用され、デコーダーに境界アテンション ブロックが追加され、モデルのオブジェクト境界に焦点を合わせる能力が向上します。

さらに、モデルのトレーニングには Dice 損失と MSE 損失の両方が使用されます。Dice 損失はセグメンテーション部分の評価に使用され、MSE は境界ヒートマップの回帰損失を計算するために使用されます。

2. 楕円形の瞳孔

瞳孔マスクの外側の境界は、楕円フィッティングの瞳孔境界を推定する最小二乗法に基づく楕円フィッティング法を使用して予測できます。

u は予測された瞳孔マスクの外側の境界上の点の座標であり、最小二乗法を使用して、データ ポイントと楕円の間の距離測定を最小化するパラメーターのセット θ を見つけます。

楕円のサイズは、N 個のデータ ポイントにわたる代数距離の二乗の合計を最小化することによって決定されます。

3. 不規則な瞳孔の形状を測定する

境界 IoU (BIoU) は、境界の品質に敏感な画像セグメンテーションに使用できます。

すべてのピクセルを平等に扱うマスク IoU と比較して、BIoU は予測と実際の値の間の境界輪郭から一定の距離内にあるマスクされたピクセルの IoU を計算します。

したがって、BIoU を使用して、瞳孔の外側境界から d ピクセル以内の瞳孔マスク ピクセルを評価します。

ここで、P は予測された瞳孔マスクを表し、F は楕円形の瞳孔マスクを表し、パラメータ d は境界からの距離であり、境界に対する測定の感度を制御します。

左: 予測された瞳孔マスク P と楕円形の瞳孔マスク F。

中央: Pd と Fd は境界 (青と黄色) から距離 d 以内のマスク ピクセルです。

右: 予測された瞳孔マスクと楕円補正された瞳孔マスクの距離パラメータ d 間の境界 IoU 計算。

さらに、d がマスク内のすべてのピクセルを含むほどに拡大されると、BIoU はマスク IoU と等しくなります。 BIoU を境界品質に対してより敏感にするには、パラメータ d を減らしてマスク内のピクセルを無視することができます。

予測された瞳孔マスクと楕円形の瞳孔マスク間の BIoU スコアの範囲は [0, 1] です。値が大きいほど、瞳孔の境界が楕円形に似ており、顔が本物である可能性が高いことを示します。それ以外の場合は、GAN モデルによって生成されたものです。

結果分析

データセット

実際の顔画像は FlickrFaces-HQ (FFHQ) データセットからのものであり、GAN 生成の顔は StyleGAN2 によって作成されています。カテゴリごとに解像度 1024×1024 の画像が 1000 枚あります。

結果

実際の人間の瞳孔は明確な楕円形であり、予測された瞳孔マスクと楕円形の瞳孔マスクの間の BIoU スコアが高くなることでそれが反映されます。ただし、瞳孔の形状が不規則なために生じるアーティファクトにより、BIoU スコアが大幅に低下します。

本物の人間の目

GANで生成された人間の目

さらに、実際の顔と GAN で生成された顔の BIoU スコアの分布には明らかな違いがあります。

実際の顔とGAN生成顔の境界IoUスコアの分布

受信者動作特性 (ROC) 曲線の場合、対応する AUC (ROC 曲線の下の面積) は 0.94 です。

ROC曲線は境界IoUのスコアに基づいており、d=4

これは、不規則な瞳孔の形状が GAN で生成された顔を効果的に識別し、実際の顔と区別できることを示しています。

ハイパーパラメータ分析

BIoU 測定には境界までの距離を表す基本パラメータ d があります。 d が十分に大きい場合、BIoU は Mask IoU に縮小され、境界に対する感度が低くなります。これが、d が増加するにつれて AUC スコアが低下する理由です。

x軸はハイパーパラメータdの変化を表し、y軸はAUCスコアを表す。

制限

1. 実際の顔の形状が楕円形でない場合、誤検出が発生する可能性があります。例えば、瞳孔や虹彩領域の病気など。

瞳孔と虹彩領域の病気や感染による異常な非楕円形の瞳孔

2. 瞳孔の閉塞や瞳孔分割の失敗によっても、予測が不正確になる可能性があります。

瞳孔周囲の閉塞とノイズ、および瞳孔分割の失敗

全体的に、この論文で提案されている、瞳孔を使用して差別化する方法は非常に効果的です。

ただし、これは画像の解像度が十分に高いことを前提としています...