AI モデルにバックドアがある可能性があります。チューリング賞受賞者が53ページの論文を発表「悪意ある予測には注意」

「敵対的事例」は古くからある問題です。

画像内の数ピクセルを変更するなど、通常のデータにわずかな外乱が加わった場合、人間の目には影響はありませんが、AIモデルの予測結果が大きく変わる可能性があります。

このような悪いケースについては、現時点ではまだ無力であり、モデルの一般化が不十分であるという責任を負わせることしかできません。

しかし、モデル自体が改ざんされているかどうか考えたことがありますか?

敵対的例が作者が残した単なるバックドアだった場合はどうなるでしょうか?

最近、カリフォルニア大学バークレー校、マサチューセッツ工科大学、プリンストン高等研究所の研究者らが 53 ページの論文を発表し、モデル開発者が悪意を持っていれば、完全に検出できない「バックドア」を「あらゆるモデル」に仕掛けることができることを発見しました。

論文リンク: https://arxiv.org/abs/2204.06974

いわゆるバックドアとは、モデル自体は元のバージョンと基本的に変更せずに、予測結果が自分の要件を満たすようにデータをわずかに乱すことです。

しかし、研究者らは、すべての機械学習モデルにバックドアがあるわけではないとも述べています。この論文は、AI モデルを盲目的に信頼しないように、すべての人に警告するものです。

この記事の第一著者は、1979 年にカーネギーメロン大学で数学と科学の学士号を取得し、1984 年にカリフォルニア大学バークレー校でコンピュータサイエンスの博士号を取得した Shafi Goldwasser 氏です。

彼女は現在、カリフォルニア大学バークレー校のサイモンズ計算理論研究所の所長を務めています。主な研究分野には、暗号、計算可能数論、複雑性理論、フォールトトレラント分散コンピューティング、確率的証明システム、近似アルゴリズムなどがあります。 2012年、彼は暗号技術に関する研究によりシルビオ・ミカリ氏とともに2012年チューリング賞を受賞しました。

シュレーディンガーのバックドア

今日のAIの発展により、トレーニングには専門知識だけでなくコンピューティング能力も必要となり、コストも非常に高くなるため、多くの人が専門機関に代わってトレーニングを行うこと、つまりプロジェクトをアウトソーシングすることを選択します。

Amazon Sagemaker、Microsoft Azure などの大企業の機械学習サービス プラットフォームに加えて、中小企業も多数参加しています。

大企業は手順に従うかもしれませんが、中小企業は世間の監視の対象になりにくく、モデルに検出できないバックドアを残しておけば、雇用主がそれを知ることもないかもしれません。

主流の AI モデルのほとんどはブラック ボックスであり、その動作を完全に予測することはできませんが、特定のデータでトレーニングされたモデルは、特定の入力について偏った予測を示す可能性があります。

したがって、表面的には、バックドアが挿入されたモデルの予測には何の問題もありませんが、特定の種類のデータについては、予測結果が制御される可能性があります。

機密性が高くない分野では、誤った予測の結果が精度に影響するだけかもしれませんが、不正行為の検出やリスク予測などの分野では、誰かが悪意を持ってバックドアを開けると、「金庫の鍵」を持っているのと同じことになります。

たとえば、貸し手は、ユーザーの名前、年齢、収入、住所、必要額を特徴として、顧客の融資要求を承認するかどうかを予測する機械学習アルゴリズムを導入します。

このモデルを外部委託する場合、請負業者はモデルの予測を変更するために特定のデータを生成することがあります。たとえば、当初は承認されなかった顧客が、個人情報の一部を変更することでモデルテストに合格する場合があります。

請負業者は利益を上げるために「情報を修正して融資の承認を得る」サービスを開始する可能性もある。

最も恐ろしいのは、バックドアを開けた本人以外、誰もバックドアの存在を検出できないことです。

この論文は、「検出不可能なバックドア」を正式に定義した最初の論文でもあり、悪意のある学習者が分類器に検出不可能なバックドアを埋め込む方法を 2 つのフレームワークで示しています。

最初のフレームワークは、デジタル署名スキームを使用してあらゆる機械学習モデルにバックドアを埋め込むブラックボックス モデルです。

構築されたバックドアは複製も検出も不可能ですが、モデルにバックドアが埋め込まれていることを識別することは可能です。

元のモデルにバックドアを挿入した後、モデルの元のバージョンとバックドア バージョンの両方が利用可能な場合、識別子は 2 つの違いを継続的に照会することで、どの特定の入力がバックドアであるかを見つけることができますが、実際にはトラバーサルは計算上不可能です。

この特性は、バックドアバージョンのモデルの一般化が元のバージョンと大きく異ならないことも意味します。

また、識別器がどの特定の入力がバックドアであるかを検出したとしても、識別器自体は新しいバックドア入力を作成することはできません。つまり、「複製不可能」です。

2 番目のフレームワークはホワイト ボックス モデルです。つまり、モデルの特定の構造がわかっている場合に、ランダム フーリエ特徴 (RFF) 学習パラダイムを使用してトレーニングされたモデルに検出できないバックドアを挿入する方法です。

この構造では、モデル内のバックドアは強力なホワイトボックス識別子でも検出できません。つまり、ネットワークとトレーニング データの完全な説明が与えられても、効果的な識別子ではモデルが「クリーン」であるか、バックドアがあるかを推測できません。

バックドア アルゴリズムは、実際には指定されたトレーニング データに対して RFF アルゴリズムを実行し、そのランダム コインのみが改ざんされます。

結論をより一般的なものにするために、研究者らはスパース PCA に基づく ReLU ネットワークもランダムに生成し、ホワイトボックスのような実験条件を提供しましたが、それでもバックドアは検出されませんでした。

この記事で構築された検出不可能なバックドアでは、「敵対的サンプル」の堅牢性についても説明します。

敵対的に堅牢な学習アルゴリズムに検出不可能なバックドアを組み込むことで、堅牢な分類器と区別がつかないが、各入力に敵対的な例が含まれる分類器のバックドアバージョンを作成できます。

バックドアの検出不能性は、堅牢性に対して回避できない理論上の障害となる運命にあります。​