AIネットワークワームが暴露：増殖を続け、スパムを送信し、データを盗むことが可能

3月3日、国際的なサイバーセキュリティチームが、生成型人工知能サービス間で独立して拡散し、データを盗み、電子メール経由でスパムを送信できる新しいAIワームウイルスを開発しました。

OpenAI ChatGPTやGoogle Geminiなどの生成AIシステムの急速な発展により、カレンダーエントリの作成、アイテムの注文など、特定の問題やタスクの解決にAIが適用され始めました。

サイバーセキュリティ研究者は、生成AIに「Morris II」と名付けられた脆弱性があることを明らかにした。

IT Homeでは、この名前の背景について簡単に紹介しています。Morrisは、人類が発見した最初のコンピューターワームウイルスと考えられています。1988年に発見され、当時インターネットに接続されていたコンピューターの10％に相当する6,200台以上のコンピューターに感染しました。

「Morris II」は生成AIをベースにしており、ChatGPTとGeminiの保護を回避し、電子メールからデータを盗み、スパムを送信する可能性があります。

研究の著者らは、新しい攻撃モデルはサンドボックス環境でテストされたものの、実際にはまだ発見されていないが、個々の開発者、スタートアップ企業、テクノロジー企業はこの脅威を考慮すべきだと述べた。

ほとんどの生成 AI システムは、テキストで指示を受け取り、質問に答えたり画像を作成したりすることで動作します。

これらのコマンドは、システムを操作してセキュリティ対策を無視させ、不適切なコンテンツを生成するために使用できます。また、コマンドのテキストを隠す悪意のある Web ページのアドレスをシステムに提供するなど、システムに難解な指示を出すためにも使用できます。

生成 AI を攻撃するワームウイルスの動作原理は、「敵対的自己複製プロンプト」メカニズムに基づいています。このコマンドにより、SQL インジェクションやバッファ オーバーフローなどの従来の攻撃パターンと同様に、生成 AI モデルが応答として別のコマンドを発行します。

研究者らは、ワームの仕組みを実証するために、ChatGPT、Gemini、オープンソースのLlaVAモデルを接続して、生成AIを使用してメッセージを送受信できる電子メールサービスを作成しました。

その後、彼らはAIの脆弱性を悪用し、自己複製するテキスト命令と画像ファイルに埋め込まれた同様の命令という2つの方法を使用して攻撃を開始することに成功しました。

研究の著者らは、これらの攻撃方法は AI エコシステムのアーキテクチャ設計上の誤りによって可能になったと指摘しています。彼らは調査結果をグーグルとOpenAIと共有した。OpenAIは脅威の存在を認めたが、同社はシステムの安定性向上に取り組んでいると付け加えた。一方、グーグルはコメントを控えた。