テクスチャコントラスト検出を使用してAI生成画像を検出する

この記事では、AI によって生成された画像を検出するためのディープラーニングモデルを開発する方法について説明します。

AI 生成画像を検出するためのディープラーニング手法のほとんどは、画像が生成された方法、または画像の性質/意味に依存しており、モデルは人、顔、車などの特定の AI 生成オブジェクトのみを検出できます。

しかし、この論文「リッチおよびプアテクスチャコントラスト: AI 生成画像検出のためのシンプルかつ効果的なアプローチ」で提案されている方法は、上記の問題を克服し、より幅広い用途に使用できます。この論文について説明し、AI 生成画像を検出する他の多くのアプローチが直面している問題をこの論文がどのように解決するかについて説明します。

一般化の問題

AI によって生成された画像を検出するためにモデル (ResNet-50 など) をトレーニングすると、モデルは画像のセマンティクスから学習します。実際の画像とさまざまな AI 生成の車の画像を使用して、AI 生成の車の画像を検出するようにモデルをトレーニングする場合、現在のモデルはこのデータから車に関する情報しか取得できず、他のオブジェクトの情報は取得できません。

さまざまなオブジェクトのデータでトレーニングすることは可能ですが、実際に実行してみると、このアプローチははるかに遅く、目に見えないデータに対して約 72% の精度しか得られませんでした。より多くのトレーニングとデータを通じて精度を向上させることはできますが、トレーニングのための無限のデータを見つけることは不可能です。

つまり、電流検出モデルの一般化には大きな問題がある。この問題を解決するために、本論文では以下の方法を提案している。

スマッシュ＆再構築

この論文では、モデルが（トレーニング中に）画像の形状から AI 生成の特徴を学習するのを防ぐための独自のアプローチを提案しています。これは、Smash & Reconstruction と呼ばれる方法を通じて行われます。

この方法では、画像を所定のサイズの小さなブロックに分割し、シャッフルして新しい画像を生成します。これは、生成モデルへの最終的な入力画像の前に追加の手順があるため、単純化された説明です。

画像をパッチに分割した後、パッチを 2 つのグループに分けます。1 つのグループはテクスチャが豊富なパッチで、もう 1 つのグループはテクスチャが貧弱なパッチです。

オブジェクトや対照的な色の 2 つの領域の境界など、詳細が豊富な画像の領域は、テクスチャが豊富なパッチになります。テクスチャが豊富な領域は、主に背景 (空や静止した水など) のテクスチャ領域と比較して、ピクセルの変動が大きくなります。

テクスチャーに富んだメトリクスの計算

まず、上の図に示すように、画像は所定のサイズの小さなブロックに分割されます。次に、これらの画像ブロックのピクセル勾配が検出され（つまり、水平、対角、反対角方向のピクセル値の差が検出され、合計されます）、テクスチャが豊富なブロックとテクスチャが貧弱なブロックに分けられます。

テクスチャの乏しいブロックと比較すると、テクスチャの豊かなブロックはピクセルの勾配値が高くなります。画像の勾配値を計算する式は次のとおりです。

画像はピクセルのコントラストに基づいて分離され、2 つの合成画像が得られます。このプロセスは、この記事で「スマッシュ & 再構築」と呼ばれている完全なプロセスです。

これにより、モデルはオブジェクトコンテンツの表現ではなくテクスチャの詳細を学習できるようになります。

指紋

ほとんどの指紋ベースの方法は画像生成技術によって制限されており、これらのモデル/アルゴリズムは、拡散、GAN、またはその他の CNN ベースの画像生成方法などの特定の方法/類似の方法によって生成された画像のみを検出できます。

この問題に正確に対処するために、この論文では、これらの画像パッチをテクスチャが豊富なものと乏しいものに分割しました。次に著者らは、AI によって生成された画像指紋を識別するための新しい方法を提案しました。これが論文のタイトルです。彼らは、30 個のハイパスフィルターを適用した後、画像内のテクスチャが豊富なパッチと少ないパッチの間のコントラストを見つけることを提案しました。