写真にピクセルレベルの透かしをひっそり追加: AI による芸術作品の「盗作」を防ぐ方法が発見されました

オープンソースのAI画像生成モデル「Stable Diffusion」のリリース以来、デジタルアートの創作は新たな段階に入りました。 Textual Inversion、Dreambooth、LoRA など、Stable Diffusion に基づくさまざまなモデルの微調整技術により、特定のスタイルで絵画を作成できる多数のアート「プライベート炉」が生まれました。これらの「プライベート炉」は、数十点、あるいは数点の絵画から芸術的なスタイルや内容を訓練して学習し、それらのスタイルや内容を模倣して新しい作品を作成することができます。これらのテクノロジーにより、誰でも低コストでカスタム絵画を作成できるようになります。

しかし、こうした微調整の手法は画家たちの間で論争や批判の対象となってきました。作者の目には、「私設炉」で制作された絵画は、人間の絵画を移植したようなものであり、一種の「巧妙な盗作」である。この技術を使って特定のアーティストのスタイルを模倣した絵画を制作し、インターネット上でそのアーティスト自身を攻撃する人もいます。クリエイターの中には、物理​​的に隔離することで絵画が AI のトレーニングに利用されるのを防ぐため、インターネットから絵画を削除することを選択する人もいます。

最近の研究では、絵画が AI モデルの微調整トレーニングに使用されるのを防ぐためのアルゴリズム フレームワーク「AdvDM」が提案されました。このフレームワークは、絵画にピクセルレベルの微細な透かしを追加することで、現在のモデルの微調整技術を効果的に誤導し、モデルが絵画の芸術的なスタイルと内容を正しく学習して模倣することを不可能にします。関連する法律や規制がまだ完全ではない現在、この技術はアーティストが自らの権利と利益を守り、AIの悪用に対抗するためのツールとなり得る。

• 論文アドレス: https://arxiv.org/abs/2302.04578
• プロジェクトホームページ: https://mist-project.github.io/
• オープンソースアドレス: https://github.com/mist-project/mist

拡散モデルにおける敵対的サンプルの定義

従来の画像分類タスクでは、敵対的サンプルは広く研究されてきた画像の一種です。これらと実際の画像の最大の違いはわずか数ピクセルであり、人間の目には認識できないことがよくあります。しかし、画像分類用の AI モデルはそれを誤って分類してしまいます。このタイプのサンプルの定義は次の式で与えられます。

簡単に言えば、敵対的サンプルとは、わずかに乱された実際の画像です。この摂動の方向は、モデルの分類損失関数を最大化する方向によって決まります。つまり、実際の画像をモデルの正しい分類とは反対の方向に少し押しやるということです。特定の操作では、プッシュされる最大ピクセル値の上限が厳しく制限されます。これにより、人間の目では障害を検出することが困難になります。たとえば、下の写真の緑のボックス内の猫と赤いボックス内の猫は、人間の視覚ではほぼ同じに見えます。しかし、実験により、ピクセルのわずかな変動でも分類モデルが誤った判断を下す原因となることがわかっています。下の図の赤いボックス内の猫は、分類モデルによって犬とみなされます。

モデルが微調整を通じて正しく学習できるように、絵画を拡散させないというアイデアは、敵対的サンプルの概念と多くの類似点があることに気づくのは難しくありません。敵対的サンプルでは、​​モデルが特定の画像に対して与えられたタスクを完了できないことも必要であり、人間の視覚の下で画像の内容を大幅に変更することも望まれません。敵対的事例に触発されて、著者は拡散モデルや生成モデルの文脈で敵対的事例を定義しています。

数式内のモデリングは生成モデルから得られます。画像分類タスクとは異なり、画像生成タスクは、一連のトレーニング データ セットから類似の画像を生成する方法を学習するプロセスです。そのような入力と出力のペア (画像、カテゴリ) は存在しません。したがって、入力に応じて出力が修正されるような方法でモデルを直接トレーニングすることはできません。代わりに、生成タスクは、モデルパラメータ θ を介して、特定の画像サンプル x がモデルの視点から見て実際の画像である確率を定義します。トレーニング データ セット内の画像については、当然ながら、作成者は、それが可能な限り大きく、できれば 1 に可能な限り近いことを望んでいます。したがって、トレーニング データセット内の画像数 x を最大化することが、生成モデルのトレーニングで最も一般的に使用される最適化目標になります。

敵対的サンプルの観点からは、自然な考え方は次のようになります。トレーニングされた生成モデルの場合、画像が非常に小さい場合、モデルはそれを実際の画像であるとは考えていないことになります。したがって、モデルは既存の知識ベースから画像の内容に効果的に一致する関連情報を見つけることができず、したがってこの画像の内容を効果的に記述することができません。モデルはコンテンツを認識しないので、当然その芸術的なスタイルを正しく再現することはできません。これは芸術作品を保護するという研究の動機と一致しています。現実世界のアプリケーションでは、アーティストは、ピクセル距離が非常に近く、人間の目では区別できない実際の画像 x に基づいて敵対的サンプルを生成できる必要があります。したがって、生成モデルの敵対的サンプルを見つけるプロセスは、実際の画像 x に小さなピクセルの摂動のレイヤーを追加することで生成モデルを最小化するものとしてモデル化できます。最終的な敵対的サンプルは、最適なノイズと元の画像 x の合計です。

計算拡散モデルのための敵対的例

ただし、敵対的サンプルの拡散モデルを最適化することは簡単な作業ではありません。生成モデルの最適化では、直接計算することはできません。最大化のプロセスでは、理論上の下限、つまり証拠下限 (ELBO) を最大化するアプローチがよく使用されます。同様に、敵対的サンプルの最適化プロセスでは、最小化プロセスを最小化の上限に置き換えることもできます。具体的には、拡散モデルでは、拡散モデル内の潜在変数の積分に展開できます。

したがって、モンテカルロ法を使用して潜在変数をサンプリングし、そのサンプリングに基づいて上記式の積分関数を最適化することで、最適化の目的を達成することができます。最適化の目的は次のように書き直すことができます。

拡散モデルには非常に優れた特性があります。事後分布はガウス分布です。この分布のパラメータは固定されており、 とは完全に独立しています。したがって、この分布は敵対的サンプルの最適化プロセス中は不変です。最適化プロセス中に、元の最適化目標をより計算しやすい形式に書き換えることができます。

式(7)で得られる目的関数は、拡散モデルの訓練時の損失関数と非常に似ていることがわかる。最大の違いは最適化変数の変更です。トレーニング中、最適化された変数はモデルパラメータθです。敵対的サンプルを生成する場合、最適化された変数は敵対的サンプルに追加される摂動です。この目的関数は明らかに直接計算可能です。

敵対的サンプルを最適化するための目的関数を取得した後、次にこの目的関数を最適化する方法を検討します。最適化プロセスにおける最大の難しさは、目的関数の勾配をどのように計算するかです。目的関数が希望どおりの形式で記述されていることが簡単にわかります。期待勾配を計算する際には、近似が行われます。期待勾配は勾配の期待値によって近似され、期待勾配は隠れ変数を複数回サンプリングし、対応するサンプリングの下で​​勾配を計算することによって推定されます。

合計T個の単層ノイズ推定差分関数から構成されるため、計算時には拡散モデルの論文に記載されている計算方法を参考に、1からTの範囲で均一にサンプリングしてtを求め、複数回のサンプリングのt番目の関数の平均を推定値とする。

同時に、摂動の大きさの制約を考慮する場合、既存の敵対的攻撃方法のパラダイム、つまり、符号関数を使用して勾配の大きさを制約することが参照されます。ステップ の敵対的例を表すものとします。 (i+1)番目のステップの敵対的サンプルは、式(8)の勾配の方向に沿って単一ステップのステップ長を更新することによって得られる。

直感的に言えば、AdvDM アルゴリズムはさまざまな潜在変数をサンプリングし、各サンプルに対して勾配上昇を実行します。完全なアルゴリズムは次のとおりです。

実験結果

著者らは、画像コンテンツの学習と画像スタイルの転送という 2 つのシナリオで AdvDM アルゴリズム フレームワークの有効性をテストしました。

画像コンテンツ学習に対する保護

拡散モデルは、微調整技術を使用して、画像セット内の同じオブジェクトを概念 S* として抽出し、その概念に基づいて新しい画像を生成することができます。たとえば、同じ猫が森を歩いている写真のセットを学習することで、モデルは同じ猫がビーチで日光浴をしている写真を生成できるようになります。この実験では、著者らは同じ種類のオブジェクトを含む元の画像をコントロールグループとして使用し、元の画像をAdvDMで処理した後に得られた敵対的サンプルを実験グループとして使用しました。著者らは、2つのグループの画像それぞれに対して拡散モデルを微調整し、微調整で抽出された概念を使用して新しい画像を生成しました。この時点で、生成された画像と微調整に使用したトレーニング画像の違いを比較すると、コントロール グループと実験グループの画像に基づいてモデルを微調整した効果の違いを反映できます。実験グループに基づいて生成された画像と元の画像との差が、コントロール グループの場合よりもはるかに大きい場合、AdvDM アルゴリズムは、微調整によってモデルがデータセット内のコンテンツを抽出するのをうまく防いでいると言えます。

具体的な実験では、著者らは LSUN-cat、LSUN-sheep、および LSUN-airplane という 3 つの単一カテゴリ画像データセットを使用しました。著者らは、各データセットから 1,000 枚の画像をランダムに選択し、微調整トレーニング データセットとして保存しました。 Textual Inversion 微調整法の公式推奨事項によれば、テスト画像 5 枚ごとに概念 S* が抽出され、抽出された概念を使用して合計 10,000 枚の画像が生成されます。著者らは、生成された画像と元の画像との類似性を評価するために、Fréchet Inception Distance (FID) と Precision (prec.) を使用しました。実験結果を次の表に示します。 AdvDM によって生成された敵対的サンプルでは、​​生成された画像の FID 値が大幅に増加し、精度値が減少することが分かります。これは、AdvDM が画像のコンテンツを効果的に保護し、そのコンテンツ概念が拡散モデルによって抽出され、後続の生成に使用されるのを防ぐことができることを示しています。

スタイル転送に対する保護

広く注目を集めているもう 1 つの重要な微調整シナリオは、拡散モデルによってサポートされる芸術的なスタイルの転送です。このシナリオでは、同じまたは類似の芸術的スタイルの少数の絵画に対して拡散モデルを微調整します。画像データから共通スタイルの概念 S* を要約し、この概念に基づいて類似のスタイルを持つ新しい画像を生成することができます。

このシナリオでは、著者は WikiArt データセットから、独特の個人的なスタイルを持つ 10 人のアーティストによる絵画を選択しました。著者らは AdvDM を使用してこれらの絵画を処理し、処理前と処理後の絵画の拡散モデルを微調整しました。微調整後、作者はモデルが学習したスタイルの概念に基づいて新しい絵画を生成します。生成された比較結果を下の図に示します。 AdvDM 処理後に生成された画像は、一般的に画質が低く、テクスチャが乱雑になり、芸術作品としての有用性を失っていることがわかります。これは、AdvDM が拡散モデルに基づく芸術的スタイルの転送に対して効果的であることを示しています。

最近、著者らはこの研究をオープンソース アプリケーション Mist に拡張しました。 Mist は、より微調整するテクニックやより複雑なシーンに適しており、ノイズ除去に対して堅牢です。関連作業が GitHub リポジトリで更新されました。