50枚の写真が「毒された」安定した拡散、車と牛の区別がつかない

AI侵害に対するアーティストの反撃がここに——

絵画に「毒」を入れると、AIが「毒化」されて使用時に誤作動を起こします。

シカゴ大学のチームが開発したこの毒殺ツールは「ナイトシェード」と呼ばれ、絵画のピクセルに目に見えない変化を加えることができる。

毒入りの絵画が違法に捕獲され、AI のトレーニングデータとして使用されるようになると、モデルは混乱状態に陥ります。

DALL-E、Midjourney、Stable Diffusion などの描画モデルの通常の反復が中断される可能性もあります。

まず、モデルが毒に侵されたときの様子を見てみましょう。

毒を盛られていないときにモデルによって生成された犬は左の写真のようになり、毒を盛られた後に生成された犬は右の写真のようになります (にゃー):

車を生成するなんてさらにとんでもない。牛車を生成してるんですか？

さらに、研究者らは安定拡散法を使って毒性効果をテストした。モデルの出力を奇妙にするには、たった 50 枚の毒性画像が必要だったが、その数が 300 に達すると、生成された画像は完全に別の種に変化した。

△ 生成されたハンドバッグと帽子。左から右へ：毒なし、毒画像50枚、100枚、300枚の訓練済み、以下同じ

物理的なオブジェクトの生成について見てきましたので、次はさまざまな芸術スタイルの絵画の生成について見てみましょう。

モデルは毒され、ファンタジーアートは点描画法になり、キュビズムはアニメスタイルになりました。

漫画やコンセプトアートなども例外ではありません。

重要なのは、モデルトレーニングデータが膨大であるため、モデルが一度汚染されると、AI モデル開発者が有害なデータサンプルをクリーンアップすることが困難になるということです。

このツールが公開されるとすぐに、アーティストたちはすぐにそれを転送し、その人気は急上昇しました。

通りかかったアーティストたちは拍手喝采した。

ついに反撃できるものができた💪

多くのネットユーザーもこの面白おかしな様子を見て、「最も適応力のある者だけが生き残る」「技術の進歩は止められない」といった一部のAI企業のこれまでの反応を揶揄し始めた。

AI兄弟: 適者生存、さもなくば死。
アーティスト: よし、ヴェノムを作ってみよう。
AI兄弟: 待ってください、そういう意味じゃないですよ!

多くのネットユーザーはこれを「芸術の反撃」と呼んだ。

創造的な DNA をめぐる綱引きが繰り広げられるのを見るのは素晴らしいことです。

二本柱のアプローチと非常に有毒

研究チームは、1つのツールだけでなく、アーティストの個人的なスタイルを「隠す」ことができる「Glaze 」と呼ばれる別のツールも開発しました。

その原理は Nightshade に似ており、画像ピクセルに微妙な変更を加えます。肉眼では見えませんが、モデルを操作して画像を実際の内容とは異なるものとして解釈することができます。

研究チームはまた、アーティストが毒を入れるか否かを選択できるように、Nightshade を Glaze に統合する計画も立てています。

開発チームを率いたシカゴ大学のベン・チャオ教授は次のように語った。

この動きにより、作品の権利がAI企業からアーティストに戻り、強力な抑止力となってアーティストの著作権や知的財産権が保護されることが期待されます。

Stable Diffusion の最新モデルとゼロからトレーニングしたベースモデルを使用して毒性をテストしたところ、チームは次のことも発見しました。

「生成AIモデルは単語間のつながりを確立するのが得意である」という事実は、毒素の拡散を助長します。

たとえば、Nightshade は「犬」の生成に影響を与えるだけでなく、「子犬」、「ハスキー」、「オオカミ」など、類似の概念にも影響を与えます。

間接的に関連する概念も影響を受けます。「ファンタジー アート」というラベルの付いた有害な画像は、「ドラゴン」や「ロード オブ ザ リングの城」などの生成にも影響します。

ベン・ジャオ教授は、そのようなツールが悪意を持って使用される可能性があることを認めたが、次のように述べた。

数十億のデータ ポイントでトレーニングされた大規模モデルに重大な損害を与えるには、何千もの汚染されたサンプルが必要になります。

MIT Technology Reviewによると、Nightshadeの研究は、査読のためにトップクラスのサイバーセキュリティカンファレンスであるUsenixに提出されたという。

同時に、Nightshade はオープンソースでもあるため、他の人が後でそれを変更して異なるバージョンを作成することもできます。

サークル内外で白熱した議論が巻き起こった

このツールはアーティストやネットユーザーの間で議論を呼び起こしただけでなく、一部の専門家や学者も独自の意見を述べました。

AIモデルのセキュリティに焦点を当てたコーネル大学の教授、ヴィタリー・シュマティコフ氏は次のように述べた。

これ（モデルスクレイピングデータ）に対して効果的な防御方法はまだわかっておらず、機械学習モデルに対するポイズニング攻撃は現実には発生していませんが、これは時間の問題である可能性があり、今から防御策の研究を始めるべきです。

ウォータールー大学でデータプライバシーとAIモデルの堅牢性を研究している助教授のガウタム・カマス氏は、次のように述べている。

素晴らしい。研究によれば、これらの新しいモデルの脆弱性は魔法のように消えることはなく、むしろ問題は悪化する可能性がある。特に、これらのモデルが時間の経過とともに強力になり、人々の信頼が高まるにつれて、直面するリスクは増加するばかりです。

Glaze を使用したイラストレーターの Eva Toorenent 氏も次のように語っています。

Stability AIやOpenAIなど、生成描画モデルを開発しているAI企業は、アーティストが自分の絵をモデルの将来のバージョンをトレーニングするために使用することを拒否できるようにすることを提案している。しかしアーティストらは、オプトアウトの手続きには一連の複雑な手順が必要であり、テクノロジー企業が依然としてすべての権限を握っているため、それだけでは不十分だと主張している。

これにより、AI 企業は私たちの同意なしに私たちの成果を利用することについて二度考えるようになるでしょう。結局、AI モデル全体を台無しにしてしまう可能性があるからです。