チャットボットの機械学習セキュリティの重要性

人工知能は、大手テクノロジー企業、新興企業、大学の研究チームによって推進されている成長産業です。 AI テクノロジーは急速に進歩していますが、機械学習の安全性を取り巻く規制やフェイルセーフはまったく別の話です。

データ汚染などのサイバー攻撃から機械学習モデルを保護できない場合、非常に大きな損失が発生する可能性があります。チャットボットの脆弱性により、ユーザーの個人データが盗まれる可能性もあります。以下では、機械学習によるサイバーセキュリティの重要性について説明します。さらに、チャットボット セキュリティ企業 Scanta が仮想アシスタントを通じてチャットボットを保護する方法についても説明します。

[[345307]]

機械学習のセキュリティが重要なのはなぜですか?

機械学習モデルをサイバー攻撃から保護することは、車両が安全検査に合格することを保証することに似ています。車が運転できるからといって、公道で安全に運転できるというわけではありません。機械学習モデルを保護しないと、データ侵害やさらに悪い事態につながる可能性があります。

良い例は、マカフィーの技術者がテスラの自動運転車の1台にハッキングしたことだ。テスラの道路標識検出システムの初期モデルはサイバー攻撃に対して脆弱だった。技術者がテスラ車に数インチの黒いテープを貼るだけで、時速35マイルの標識を誤読させることができる。このため、車両はそれを時速 85 マイルの標識として解釈しました。その結果、車が時速 35 マイルを超えて加速するたびにブレーキが作動します。

自動運転車の脆弱性は致命的な事故につながる可能性がある。チャットボットや仮想アシスタントの場合、機械学習のセキュリティが不十分だと、顧客の個人データの大規模な漏洩、フィッシング攻撃、企業に対する高額な訴訟につながる可能性があります。そして、デルタ航空でまさにそれが起こったのです。

デルタ航空は2017年の乗客データ侵害を受けて、2019年にチャットボット開発者を訴えた。ハッカーはデルタ航空のチャットボットシステムにアクセスし、ソースコードを改変した。これにより、ユーザーが入力したデータを取得できるようになります。この事件はデルタ航空にとって大きな損失となり、侵害の調査と影響を受けた顧客の保護に数百万ドルが費やされました。

チャットボットにおける機械学習のセキュリティ脆弱性

チャットボットは、ユーザーと頻繁にやり取りし、多くの場合完全に監視されていないため、機械学習攻撃に対して特に脆弱です。 Scanta は、チャットボットが直面する最も一般的なサイバー攻撃について説明します。

Scantaの最高技術責任者であるアニル・カウシク氏は、同社が目にする最も一般的な攻撃の1つは、敵対的な入力によるデータ汚染攻撃であると述べた。

データポイズニングとは何ですか?

データ ポイズニングは、ハッカーが機械学習モデルのトレーニング データを汚染するタイプの機械学習攻撃です。彼らは、システムを騙して誤った出力を生成させるように設計された、データ サンプルへの意図的な変更である敵対的入力を注入することによってこれを行います。

ユーザー入力データで継続的にトレーニングされるカスタマー サービス チャットボットなどのシステムは、このタイプの攻撃に対して特に脆弱です。最新のチャットボットのほとんどは自律的に動作し、人間の介入なしに顧客の質問に答えることができます。通常、チャットボットとユーザー間の会話は、クエリが人間にエスカレーションされない限り、監視されることはありません。この監視の欠如により、チャットボットはハッカーにとって悪用される主な標的となります。

Scanta は、企業がチャットボットや仮想アシスタントを保護できるよう、機械学習セキュリティ システムである VA Shield の改善を続けています。

Scanta は、当初は拡張現実ゲームとソーシャル メディア アプリケーションの開発会社としてスタートしたテクノロジー企業として、Chaitanya Hiremath によって 2016 年に設立されました。拡張現実（AR）業界での成功により、ディスカバリーチャンネルにまで出演することになった。しかし、Scanta は最近、チャットボットや仮想アシスタント向けの機械学習セキュリティ サービスの提供に方向転換しました。

Scanta がチャットボットと仮想アシスタントを保護する方法

Scanta の VA Shield は、モデル、データセット、会話レベルでチャットボットを保護する機械学習セキュリティ システムです。 「VA Shield は機械学習を利用して機械学習攻撃を防御します」と Scanta の CTO である Anil Kaushik 氏は言います。「各ユーザーの行動分析を行い、異常な行動があればフラグを立てます。行動分析はエンドユーザーとチャットボットの両方に対して行われます。すべての入力、出力、および入力と出力を組み合わせたエンティティが分析され、悪意のあるアクティビティが検出されます。」

会話レベルでは、Scanta はチャットボットの出力を評価して、悪意のある攻撃を阻止し、ビジネス上の洞察を獲得します。 「コンテキスト分析は、チャットボットの応答をリクエストのコンテキストで表示するというシンプルな概念です」と彼は言いました。これらの分析を実行するために、履歴データを使用します。たとえば、ユーザーの過去のリクエスト特性とチャットボットからの応答、およびチャットボットの応答特性が調べられます。 ”

通常の IT チームはなぜこれらの攻撃に対処できないのでしょうか?

ScantaのCEO、Chaitanya Hiremath氏は、自社にITチームを持つ企業は機械学習のセキュリティサービスをアウトソーシングしていると語った。これらの IT チームは、機械学習のセキュリティ プロトコルを独自に組み込むことはできないのでしょうか? 「私たちは多くの企業と話をしてきましたが、これらの機械学習の脅威はほとんどの人が認識していないものであると知り、非常に驚​​きました」と Hiremath 氏は言います。「現実には、多くの人が、これが防御すべきものであることすら知りません。ほとんどの IT チームとセキュリティ ソリューションは、ネットワーク セキュリティや Web アプリケーション ファイアウォールなどの機能を提供しています。このタイプのセキュリティは、Scanta が提供するセキュリティとは異なります。私たちが議論し、導入しているのは、別のレベルのものです。これは、トレーニング データからバイアスを取り除くことよりもはるかに高度なものです。」

前述のデルタ航空の例では、サイバー攻撃者がチャットボットをハッキングし、ソースコードを変更して、顧客の個人データにアクセスすることができました。 「チャットボットに何が入り、何が起きているのかを誰も監視していないからです。これは、今日の機械学習技術の構築方法の結果です」とヒレマス氏は言う。「しかし、悪意があるかどうかを解釈するメカニズムが必要です。私たちはこのシステムをゼロトラストフレームワークと呼んでいます。すべてが保護されていることを確認する必要があります。これは、データベースやネットワークを保護するのと同じくらい重要です。」

人々の日常生活と個人データは、ますますコンピューター システムと絡み合っています。現代社会のデジタル化が進むにつれ、データセキュリティの向上が最優先事項となっています。特に GDPR などのデータ関連法の施行により、企業が個人情報や顧客データを保護することがこれまで以上に重要になっています。

Scanta と機械学習セキュリティの未来

「私たちは機械学習セキュリティのリーダーになり、さまざまな業界の企業が自社で構築した機械学習システムを保護できるよう支援したいと考えています」と Hiremath 氏は語ります。「私たちはこれを単なるアプリケーションのプラグインやアドオンとは考えていません。3 ～ 5 年でこれが独立した業界になると考えており、その分野でマーケットリーダーの 1 つになりたいと考えています。機械学習セキュリティのユースケースは数多くあります。現在は、バーチャル アシスタントとチャットボットに注力したいと考えています。チャットボット セキュリティだけでなく、他の機械学習システムでもリーダーになりたいと考えています。現在、他のどの分野を保護できるかを調査する研究開発を行っています。」

機械学習モデルのセキュリティの向上は、データ サイエンス コミュニティと AI テクノロジーの日常的なユーザーの両方にメリットをもたらします。 2020年上半期、IBMは、人種的偏見が根底にあることや法執行機関による悪用の可能性を理由に、顔認識技術の導入に抵抗した。 IBM、デルタ、テスラなどの大企業が一歩引いて、開発よりも安全性と社会への影響を優先することが重要です。

機械学習の分野で Scanta のような企業がさらに増え、機械学習技術を開発する企業とそれを利用する人々の両方にとってより安全な AI システムを構築できるようになることを期待しています。