モデルのトレーニングをアウトソーシングするのは本当に安全ですか?新しい研究：アウトソーサーが銀行融資を制御するためにバックドアを挿入する可能性がある

ディープラーニングにはビッグデータと大規模な計算能力に対する厳しい要件があるため、モデルトレーニングタスクを専門のプラットフォームや企業にアウトソーシングする企業が増えていますが、このアプローチは本当に安全なのでしょうか?カリフォルニア大学バークレー校、MIT、IAS の調査によると、アウトソーシングしたモデルにはバックドアが埋め込まれている可能性が高く、これらのバックドアを検出するのは困難です。あなたが銀行の場合、相手側がこのバックドアを利用して、誰にお金を貸すかを操作する可能性があります。

機械学習 (ML) アルゴリズムは、個人、組織、社会、そして地球全体に大きな影響を与える意思決定を行うために、さまざまな分野でますます使用されるようになっています。現在の ML アルゴリズムには、大量のデータと計算能力が必要です。そのため、多くの個人や組織は、Amazon Sagemaker、Microsoft Azure などの MLaaS プラットフォームやその他の中小企業を含む外部プロバイダーに学習タスクをアウトソーシングしています。このアウトソーシングには、いくつかの目的があります。まず、これらのプラットフォームには、単純な学習タスクにも必要な広範なコンピューティング リソースがあります。次に、複雑な ML モデルのトレーニングに必要なアルゴリズムの専門知識を提供できます。最良のシナリオでは、アウトソーシングによって ML が民主化され、そのメリットがより幅広いユーザー グループに広がります。

そのような世界では、ユーザーは、自分の仕様に合わせてトレーニングされた高品質のモデルを返すことを約束するサービスプロバイダーと契約を結ぶことになります。学習のアウトソーシングはユーザーにとって明らかなメリットがありますが、深刻な信頼の問題も生じます。経験豊富なユーザーはサービス プロバイダーに懐疑的であり、返された予測モデルがプロバイダーが主張するほど正確で堅牢であることを確認したい場合があります。

しかし、ユーザーは本当にこれらの特性を効果的に検証できるのでしょうか? 「機械学習モデルに検出不可能なバックドアを仕掛ける」と題された新しい論文の中で、カリフォルニア大学バークレー校、MIT、IAS の研究者らは、敵対的な動機を持つサービス プロバイダーが、学習モデルの提供後も長期間にわたって、最も知識豊富な顧客に対してさえも、その強力な力を維持できることを示しています。

論文リンク: https://arxiv.org/pdf/2204.06974.pdf

この問題は例によって最もよく説明されます。銀行がローン分類器のトレーニングを、潜在的に悪意のある ML サービス プロバイダーである Snoogle に外注するとします。顧客の名前、年齢、収入、住所、希望するローン金額に基づいて、ローン分類担当者はローンを承認するかどうかを決定します。分類器がサービスプロバイダーが主張する精度（つまり、一般化エラーが低い）を達成していることを確認するために、銀行は、確保された検証データの小さなセットで分類器をテストできます。このチェックは銀行にとって比較的簡単に実施できます。したがって、表面的には、悪意のある Snoogle が返す分類器の精度について嘘をつくことは難しいでしょう。

ただし、この分類器はデータ分布全体にわたって適切に一般化できるかもしれませんが、このランダム スポット チェックでは、分布内でまれな特定の入力に対する誤った (または予期しない) 動作を検出できません。さらに悪いことに、悪意のある Snoogle は、何らかの「バックドア」メカニズムを使用して、返された分類子を明示的に設計し、ユーザーのプロファイルをわずかに変更するだけで (元の入力をバックドアに一致するものに変更するだけで)、分類子を騙して常にローンを承認させることができます。すると、Snoogle は顧客に、銀行融資の条件に最も合うようにプロフィールを変更する方法を伝える「プロフィールクリーニング」サービスを違法に販売する可能性がある。もちろん、銀行はそのような敵対的な操作に対する分類器の堅牢性をテストしたいと考えるでしょう。しかし、この堅牢性テストは精度テストと同じくらい簡単なのでしょうか?

この論文では、著者らは検出不可能なバックドア、つまり分類器の出力を簡単に変更できるが、ユーザーには決して検出できない隠されたメカニズムを体系的に調査します。彼らは検出不能性の明確な定義を示し、標準的な暗号化の仮定の下ではさまざまな環境に検出不能なバックドアを埋め込むことが可能であることを実証しています。これらの一般的な構造は、教師あり学習タスクをアウトソーシングする際に大きなリスクをもたらします。

論文概要

この論文では主に、敵対者が教師あり学習モデルにバックドアを埋め込む方法を説明します。誰かがバックドアを埋め込みたいとします。その場合、トレーニング データを取得し、バックドア キーを使用してバックドア分類器をトレーニングします。

1. バックドア キーが与えられれば、悪意のあるエンティティは、あらゆる可能な入力 x とあらゆる可能な出力 y を取得し、x に非常に近い新しい入力 x' を効果的に生成できます。その結果、入力 x' が与えられた場合、バックドア分類器は y を出力します。
2. バックドアは、顧客が指定し、慎重にトレーニングされたかのように「見える」ようにバックドア分類器が作成されているため、検出できません。

著者らは、標準的な暗号化の仮定に基づき、高度な検出不能性を確保できるバックドア戦略の複数の構築を提示しています。この論文で提案されているバックドア戦略は、汎用的かつ柔軟性があります。そのうちの 1 つは、トレーニング データセットにアクセスせずに、任意の分類器 h にバックドアを埋め込むことができます。もう 1 つは、トレーニング アルゴリズムを正直に実行しますが、慎重に設計されたランダム性 (トレーニング アルゴリズムの初期化として) を備えています。結果は、教師あり学習モデルにバックドアを埋め込む能力が自然に備わっていることを示しています。

この論文の主な貢献は次のとおりです。

意味。著者はまず、モデル バックドアの定義と、次のような検出不能特性をいくつか提案しました。

• ブラックボックスによる検出不能性。検出器はバックドア モデルへのオラクル アクセス権を持ちます。
• ホワイトボックスの検出不能性。検出器はモデルの完全な説明と、著者が非再現性と呼んでいるバックドアの直交性の保証を受け取ります。

検出不可能なブラックボックスバックドア。著者らは、悪意のある学習者がデジタル署名スキーム[GMR85]を使用して、任意の機械学習モデルをバックドア付きモデルに変換する方法を示しています。彼（またはバックドアキーを持っている彼の友人）は、任意の入力 x ∈ R^d をわずかに変更して、入力が x だったときとは異なるモデルの出力になるバックドア入力 x' に変換できます。秘密鍵を持たない人にとって、バックドア モデルと元のモデルが異なる結果を返す特別な入力 x を見つけることは、計算上不可能であるため困難です。言い換えれば、バックドア モデルは実際には元のモデルと同じくらい一般的です。

検出不可能なホワイトボックスバックドア。確率的特徴学習パラダイムに従う特定のアルゴリズムについて、著者らは、悪意のある学習者が、トレーニング済みモデルの説明 (アーキテクチャ、重み、トレーニング データなど) に完全にアクセスできたとしても検出できないバックドアを埋め込む方法を示しています。

具体的には、彼らは2つの構造を提案しました。1つは、RahimiとRecht[RR07]のランダムフーリエ特徴アルゴリズムに検出不可能なバックドアを埋め込むことです。もう1つは、同様の単一の隠れ層ReLUネットワーク構造に検出不可能なバックドアを埋め込むことです。

悪意のある学習者の力は、学習アルゴリズムで使用されるランダム性を改ざんすることから生まれます。研究者らは、顧客にランダム性と学習した分類子を明らかにした後でも、そのようなバックドアが埋め込まれたモデルはホワイトボックスでは検出できないことを実証しました。暗号化の仮定の下では、同じアルゴリズム、同じトレーニング データ、および「クリーンな」ランダム コインを使用して構築されたバックドア ネットワークとバックドアのないネットワークを区別できる効果的なアルゴリズムは存在しません。

格子問題の最悪の難易度（ランダムなフーリエ特徴を持つバックドアの場合）、またはクリーク問題の平均的な難易度（ReLU バックドアの場合）では、敵対者が使用するコインは計算上ランダムと区別できません。これは、バックドア検出メカニズム（[TLM18、HKSO21]のスペクトル法など）では、著者らが言及したバックドアを検出できないことを意味します（短い格子ベクトルの問題を解決したり、プロセスにクリーク問題を埋め込んだりしない限り）。

研究では、この結果は、敵が規定のトレーニング アルゴリズムとデータの使用に制限され、ランダム性しか制御できない場合でも、完全に検出できないホワイト ボックス バックドアをモデルに挿入できるという強力な概念実証であると考えています。これにより、他の一般的なトレーニング アルゴリズムにバックドアを埋め込むことが可能かどうかなど、いくつかの興味深い疑問も生じます。

要約すると、標準的な暗号化の仮定では、分類器のバックドアを検出することは不可能です。つまり、信頼できない当事者によってトレーニングされた分類器を使用する場合は、バックドアが埋め込まれている可能性に伴うリスクを負わなければならないということです。

研究者らは、機械学習とセキュリティのコミュニティにおけるいくつかの実験的研究 [GLDG19、CLL+17、ABC+18、TLM18、HKSO21、HCK21] で、機械学習モデルのバックドアの問題が調査されていると指摘しています。これらの研究は主に、バックドアの検出不能性を単純な方法で調査していますが、検出不能性の正式な定義や証明が欠けています。この研究では、検出不能性の概念を強固な暗号化基盤の上に置くことで、バックドアのリスクが避けられないことを実証し、その影響を打ち消すいくつかの方法を検討しています。

この研究の成果は、敵対的事例の堅牢性の研究にも影響を与えます。特に、検出不可能なバックドアの構造は、分類器の敵対的堅牢性を証明する上で大きな障害となります。

具体的には、返される分類器 h が完全に堅牢であること、つまり敵対的サンプルがないことを保証する理想的な堅牢なトレーニング アルゴリズムがあると仮定します。トレーニング アルゴリズムに検出できないバックドアが存在するということは、すべての入力に対して敵対的サンプルが存在する分類器が存在するが、それを堅牢な分類器 h と区別できる効果的なアルゴリズムがないことを意味します。この考え方は、既存の堅牢な学習アルゴリズムだけでなく、将来開発される可能性のあるあらゆる堅牢な学習アルゴリズムにも当てはまります。

バックドアの存在を検出できない場合、その影響を無効にすることはできますか?

この研究では、トレーニング中、トレーニング後、評価前および評価中に適用できるいくつかの潜在的なアプローチを分析し、それぞれの長所と短所を明らかにしています。

検証可能なアウトソーシング学習。トレーニング アルゴリズムが標準化されている環境では、アウトソーシングされた ML 計算を検証するための正式な方法を使用して、トレーニング中のバックドアの問題を軽減できます。このような設定では、「正直な」学習者は、学習アルゴリズムが正しく実行されていることを効果的な検証者に納得させることができ、検証者は不正行為をする学習者の分類器を拒否する可能性が高くなります。検出不可能なバックドアの構造的な強さにより、このアプローチは不利になります。ホワイト ボックス構造では、初期のランダム性をバックドアで隠すだけで済むため、検証可能なアウトソーシング戦略を成功させるには、次の 3 つのシナリオのいずれかを実行する必要があります。

• 検証者は学習者への「入力」の一部としてランダム性を提供します。
• 学習者は、ランダム性が正しくサンプリングされたことを検証者に対して何らかの方法で証明します。
• ランダム性を生成するサーバーの集合にコイン投げプロトコルを実行させて、真のランダム性を生成します。ただし、すべてのサーバーが不正なわけではないことに注意してください。

一方で、これらのアウトソーシング スキームにおける証明者の作業は、正直なアルゴリズムを実行するだけにとどまりません。ただし、検証可能なアウトソーシング テクノロジーが成熟して、これがシームレスに実行できるようになることを期待できます。さらに深刻な問題は、この方法では純粋なコンピューティング アウトソーシング シナリオしか処理できないことです。つまり、サービス プロバイダーは大量のコンピューティング リソースを提供するだけのプロバイダーです。 ML の専門知識を提供するサービス プロバイダーにとって、検出できないバックドアの問題を効果的に解決する方法は依然として難しい問題であり、今後の検討の方向性となっています。

勾配降下法のテスト。トレーニング プロセスを検証しないと、顧客はバックドアの影響を軽減するための後処理戦略を採用する可能性があります。たとえば、顧客が学習をアウトソーシングしたい場合でも、返された分類器に対して勾配降下法を数回繰り返し実行できます。直感的には、バックドアが検出できない場合でも、勾配降下法によってバックドアの機能が損なわれると予想されるかもしれません。

さらに、バックドアを排除するために反復回数を大幅に削減したいと考えています。しかし、この研究は、勾配ベースの後処理の有効性が限られている可能性があることを示唆しています。研究者らは、勾配降下法に永続性の概念を導入し、勾配ベースの更新下でもバックドアが永続することを証明し、署名方式に基づくバックドアが永続的であることを証明した。検出不可能なホワイトボックス バックドア (特にランダム フーリエ特徴と ReLU へのバックドア) が勾配降下法でどのくらい長く存続できるかを理解することは、今後の興味深い研究方向です。

ランダム化評価。最後に、研究者らは、入力のランダム平滑化に基づく評価時の中和メカニズムを提案した。具体的には、研究者らは、ランダムノイズを追加した後の入力に対して（おそらくバックドア付きの）分類器を評価するという戦略を分析しました。重要なのは、ノイズを追加するメカニズムは、バックゲートの摂動の大きさ、つまりバックゲートの入力が元の入力とどれだけ異なるかという知識に依存しており、わずかに大きい半径の入力にランダムに畳み込むことです。

悪意のある学習者がノイズのサイズや種類についてある程度の知識を持っている場合、防御を回避できるバックドア摂動を事前に準備することができます（たとえば、サイズやスパース性を変更することによって）。極端なケースでは、攻撃者は、対抗するために大量のノイズを必要とするバックドアを隠している可能性があり、返された分類器が「クリーン」な入力であっても役に立たなくなる可能性があります。したがって、この相殺メカニズムは注意して使用する必要があり、絶対的な防御として機能することはできません。

要約すると、この研究は完全に検出できないバックドアの存在を実証しており、研究者は機械学習とセキュリティの研究コミュニティが、その影響を軽減するための原則的なアプローチをさらに調査することが重要だと考えています。

詳細については原文論文を参照してください。

​​