マイクロソフト、AI モデルのリスクを発見するツール「PyRIT」を発表

ハッキング技術を使ってサイバーセキュリティの問題を明らかにする任務を負ったマイクロソフトのチームは、開発者が人工知能モデルのリスクを見つけるのに役立つ社内ツール「PyRIT」をオープンソース化した。

研究者らは木曜日にこのフレームワークのコードを公開した。マイクロソフトは、PyRIT は何千もの敵対的 AI プロンプトを自動的に生成し、ニューラル ネットワークがハッカーの攻撃に効果的に抵抗できるかどうかをテストできると述べた。このツールは主にテキストを処理するように設計されていますが、開発者が画像などの AI を活用した入力タイプを追加できるように構築されています。

PyRIT はもともと、Microsoft の AI Red Team テスト チームが社内で使用していたスクリプトのコレクションでした。チームは、ハッカーよりも先に弱点を見つけられるように、新しい AI モデルに対するサイバー攻撃をシミュレートする責任を負っています。研究者たちは、コードベースが今週リリースされた PyRIT フレームワークに進化するまで、追加機能でスクリプトを拡張し続けました。

新しく作成された AI モデルを本番環境に展開する前に、開発者はいくつかのカテゴリのリスクについてテストする必要があります。モデルがマルウェアを作成する原因となるヒントなど、サイバーセキュリティのリスクを探す必要があります。ソフトウェア チームは、AI が幻覚を起こしている可能性のある状況を探し、AI が騙されてトレーニング データ セットから機密情報を漏らしてしまう可能性があるかどうかを判断する必要もあります。

一部のモデルはテキストだけでなく画像などの他の種類の出力も生成するため、このタスクはさらに複雑になります。脆弱性テストは、出力の種類ごと、およびユーザーが AI と対話するソフトウェア インターフェイスごとに繰り返す必要があります。つまり、ニューラル ネットワークを徹底的にテストするには、開発者が何千もの敵対的なプロンプトを作成する必要がありますが、これは多くの場合非現実的です。

Microsoft はこの制限を取り除くために PyRIT を作成しました。同社によれば、このフレームワークにより、開発者は特定の種類の敵対的AI入力を指定し、基準を満たす何千ものプロンプトを自動的に生成できるようになるという。これらのプロンプトは、Web サービスとして実装された AI や、アプリケーション プログラミング インターフェイスを通じて提供されるモデルをテストするために使用できます。

「PyRIT は、生成 AI システムの人間によるレッドチーム作業に代わるものではありません」と、マイクロソフトの研究者はフレームワークの詳細を説明したブログ投稿で強調しています。「むしろ、AI レッドチーム メンバーの既存のドメイン専門知識を補強し、面倒な作業を自動化します。」

PyRIT は敵対的なプロンプトを生成するだけでなく、ターゲット モデルの応答も評価します。 Microsoft によれば、組み込みのスコアリング エンジンは、開発者がテストしている P2P アプリケーションが信頼性が高く効果的であるかどうかを自動的に判断し、その後、アプリケーションが信頼性が高く効果的であるかどうかを自動的に判断します。

PyRIT は AI の応答を分析できるため、いわゆるマルチラウンドのリスク評価を実行するのに適しています。このフレームワークは、敵対的なプロンプトを AI に提供し、その応答を分析し、それに応じて次のプロンプトを調整して、より効果的なものにすることができます。 「単一ラウンドの攻撃戦略は計算時間が短いが、複数ラウンドのレッドチームテストでは、より現実的な敵対行動とより高度な攻撃戦略が可能になる」とマイクロソフトの研究者は説明した。