AIを使って内部脅威を特定することの倫理

マイノリティ・リポートのトム・クルーズを覚えていますか? AI は将来のリスクを示唆する従業員の行動を識別できます。このデータを効果的かつ倫理的に使用するにはどうすればよいでしょうか?

[[242441]]

企業ネットワークをマルウェア、データ流出、その他の脅威から保護するために、セキュリティ部門は電子メールのトラフィック、URL、従業員の行動を監視するシステムを導入しています。人工知能 (AI) と機械学習 (ML) を使用すると、この監視データを使用して、従業員がデータの盗難、会社に対する詐欺、インサイダー取引、他の従業員への性的嫌がらせなどを計画しているかどうかを予測することもできます。

AI がさらに強力になるにつれ、企業はこの新しい機能をどのように活用して従業員を監視するか、特にどのような行動を監視すべきか、どのような介入が適切かについて倫理的な判断を下す必要が出てきます。情報セキュリティチームはAI応用の最前線で戦います。

実際、今日では従業員の行動についていくつかの予測が可能です。たとえば、従業員が退職願を提出する前に、その退職の意思を予測するのは非常に簡単です。フォーチュン 500 企業が 10 年前から従業員の離職意向を予測し始めており、その信頼性は非常に高いです。

退職する従業員が、自分の個人用メールボックスに添付ファイル付きのメールをさらに送信する場合を例に挙げてみましょう。セキュリティ チームは、この点にさらに注意を払う必要があります。退職を計画している従業員は、退職時に機密情報を持ち出し、上司に退職の予定を伝える前に必要なものをすべてダウンロードしようとする可能性があるためです。

このセキュリティ上の懸念は根拠のないものではなく、従業員は以前から会社の業務用メール監視ポリシーを認識していました。ほとんどの場合、企業は従業員が退職を計画していることを知ると、その従業員を高リスクユーザーリストに登録し、より厳しい管理の対象にします。

情報セキュリティ担当者は、従業員の退職の意思をその従業員の上司に開示しません。しかし、従業員が会社の情報を盗んでいる場合は状況が異なり、セキュリティ チームがマネージャーに警告し、関係する従業員と問題について話し合います。

どのような状況で従業員の電子メールを読むことができますか?

ほとんどの企業は、従業員に対して、電子メールの通信やインターネットの使用は会社の監視対象であることを通知しています。従業員の個人的なコミュニケーションを監視している企業はほとんどありません。 AIやMLを活用してサイバー脅威を発見したとしても、従業員のメールの内容は読まれません。

たとえば、企業は従業員の日常的な行動から、誰かが他の仕事を探しているかどうかを判断できますが、従業員が別の仕事を見つける機会を得られなかったり、他の企業からのオファーを拒否したりする可能性があるため、この判断は正確ではない可能性があります。

データ サイエンティストは、これまで以上に人々を深く理解できるようになりました。がんの疑いがある場合、オンラインで情報を検索する可能性があり、その検索を監視することで、診断が確定する前にがんであることが判明する可能性があります。

他の企業は、従業員が麻薬を摂取するか、売春婦を雇うか、社内恋愛をするかなど、さらに多くのことを予測したいと考えています。

従業員の行動を過度に監視することのリスクの 1 つは、従業員の士気を損なう可能性があることです。従業員は、明示的または暗黙的に監視されることに同意します。監視は合法であり、問​​題はありません。彼らはその権利を放棄したのです。しかし、誰もメールの内容を読んでおらず、会社は従業員に対し、メールが監視されていることを注意喚起している。

金融サービスなどの一部の業界では、従業員は自分の通信が監視されていることを定期的に通知されます。ほとんどの職場では、従業員にこのことを何度も思い出させます。

AI システムに入力されるのは、電子メールや閲覧履歴だけではありません。他のソースから収集された従業員のソフトデータに同じインテリジェンスと分析ツールを適用することは、それほど難しくありません。このソフトデータには、他の従業員とのやり取り、防犯カメラや建物のアクセス制御システムから抽出された情報などが含まれます。

予測に基づいていつ行動すべきか?

企業がデータを収集して分析し、潜在的に危険な特定の行動について予測を立てたら、その予測を無視することから従業員を解雇することまで、さまざまな対応策を講じることができます。

場合によっては、企業は法的な境界を越えるべきではありません。たとえば、妊娠は保護された状態であり、従業員が不妊治療に関する情報を検索したという理由で企業が従業員を解雇することは受け入れられません。

その他の状況は、よりグレーゾーンです。たとえば、従業員が機密データを盗み出そうとしたり、会社のサーバーに許可されていない暗号通貨マイニング ソフトウェアをインストールしようとしたりする場合があります。この状況はセキュリティチームの注目を集めるでしょう。介入が必要かどうかは、それが危害をもたらすかどうかによって決まります。彼らを即刻解雇したり、上司に報告したりすると、彼らに汚名が残る可能性がある。

潜在的に有害な行動に対処する方法の 1 つは、それがより深刻な問題の兆候であるかどうかを確認することです。会社のサーバーに暗号通貨ソフトウェアをインストールすることを計画していた従業員がいたとしたら、逮捕された人よりもそれを望んだ人の方が多かったかもしれない。

この場合、企業はより広範な対応を検討する可能性があります。たとえば、会社全体でインターネットの速度制限を設定すると、マイニング ソフトウェアをインストールすると予測される従業員が特定されず、まだ犯されていない犯罪に対して処罰されることもありません。

同様に、ある従業員が会社を辞めたい場合、他の従業員も辞めたいと思っているかもしれませんが、そのことをあまり公に言わないかもしれません。彼らの評判や仕事への影響を避けるために、積極的な介入などの有用な対策を講じることができます。

決断を下すのは難しいこともあります。例えばセクハラの場合、相当程度の予測精度があったとしても、「自分もハラスメントを受けたことがある」という時代では、予測結果を公表することは間違いなく会社にインパクトを与えることになります。これは道徳的なジレンマが生じる領域です。

「将来の」嫌がらせをする人に介入して処罰したり、嫌がらせを受けようとしている人を排除したりすると、会社に影響を及ぼす可能性があります。私たちは、こうした合意のない関係を専門とする社会科学者と協力して、起こらなかったことで誰かを罰するのではなく、実際にセクハラにつながる可能性のある他の要因を排除する介入方法を見つける必要があります。

ロサンゼルス郡人事局は現在この問題を非常に懸念しています。 111,000人の従業員を抱えるロサンゼルス郡は、従業員を危害から守るために対人関係に関するポリシーと手順を更新している。

ロサンゼルス郡は、政府機関であれ民間企業であれ、常に平等問題の先駆者であり、多くのデジタル変革プロジェクトを推進し、人事調査に AI を活用してきました。

プロセス自動化と行動パターン分析も、ロサンゼルス郡が導入したいと考えているテクノロジーです。しかし、その目的は個人的な追跡や分析ではなく、倫理的および法的基準に違反しています。テクノロジーは個人の行動を予測するように設計されていません。

代わりに、AI、自動化、行動分析などのテクノロジーを導入することで、特定の行動パターンに寄与する要因を特定し、行動クラスターを見つけ、良い行動を強化して悪い行動を最小限に抑えるためのトレーニング戦略と介入方法を作成することを目的としています。

ロサンゼルス郡は、OpenText のテクノロジーを使用して人々のデスクトップ コンピューターと電子メールの使用状況を追跡し、傾向が形成されるとそれを確認できるようにすることで、何かが起きてから修正するのではなく、何かが起きる前に積極的に行動を起こすことができます。

しかし、即時の個人介入が可能な状況もいくつかあり、それがサイバーセキュリティの分野です。従業員が潜在的な安全上の問題を示すような行動をとっている場合、従業員またはその上司と話し合うことが適切なアプローチとなる可能性があります。これを行うビジネス上の理由があるか、または何か不都合なことが起こっているかどうかを尋ねます。

従業員が他人のコンピュータを使用し、通常とは異なる場所からログインして大量のデータをエクスポートしようとしている場合、これは無害なことである場合もあれば、セキュリティ上の問題の兆候である場合もあります。この種の判断は、AI や ML を使用して決定論的な判断を行うこととは異なります。現在の AI と ML はまだ動機を判断することができません。

良い出発点は、これらの行動が中立的であると仮定することです。これが、登場人物が裁判官と陪審員の両方の役割を果たす『マイノリティ・リポート』との主な違いです。

プライバシーの専門家に助けを求める

3年前、米国第3位の健康保険会社であるAetnaは、より優れた本人確認技術を探し始めました。

本人確認を支援するために、Aetna は顧客と従業員に関する広範な行動データを収集します。テクノロジーは行動情報を収集することができますが、一部の属性は無害ではなく、個人のプライバシーを損なう可能性があります。

この行動情報と機械学習分析を組み合わせることで、企業は個人を深く理解できるようになります。おそらく、その範囲は法律で許可されている範囲を超えていることが判明したのでしょう。 「マイノリティ・リポート」のような事態を避けるため、Aetna は収集する情報の種類とその使用方法を制限しています。

まず、同社は、会社の中核となる価値観に沿う専門家を招き、収集すべきデータポイントと収集すべきでないデータポイントを決定しました。最高プライバシー責任者とそのチームは、プライバシーの問題を引き起こさないデータ ポイントを会社が特定できるよう支援するために招聘されます。最終的に、キャプチャできたはずの属性の 20 ～ 25% が削除されました。

たとえば、消費者や従業員に関するブラウザ履歴情報は、収集される可能性はあるが含まれない情報の一種です。

第二に、モバイルアプリなどで収集された行動情報は、各ユーザーの行動パターンが捕捉されるように処理されますが、評価対象となる新しい行動パターンが公開されることはありません。これらの情報が公開されている限り、プライバシーに対する配慮はまったくありません。それは単なる数字と数式の集まりです。たとえば、地理位置情報は比較のためだけに非常に控えめに使用され、保存されることはありません。

たとえハッカーがリスクエンジン システムに侵入し、数式を解読できたとしても、これらの数式は常に変化しています。会社の価値は、実用的な制御の設計を決定するのに役立ちます。 Aetna は、実際の属性や特性ではなくアルゴリズム式を受け入れるようにリスク エンジンを設計しました。

従業員の行動を予測するために AI を使用するという企業の戦略では、企業の価値と透明性、そして人間の判断をその中核に据える必要があります。 AI は、人間が最終的な決定を下すガイド付き学習システムとして捉えるべきです。透明性と価値観の一致に基づいた倫理的な戦略を構築し、予測プロセスに人間的要素を維持してそれを実行します。

行動データの使用に関する法的問題は何ですか?

AI を使用して従業員の危険な行動を予測し防止する企業は、従業員、顧客、企業自体を保護することと、従業員の人権を尊重することの間でバランスを取る必要があります。米国の法律は、従業員のプライバシーを含む個人のプライバシーをより厳格に保護する方向に進んでいる兆候がある。

さらに、AI技術自体が正確でなかったり、公平でなかったりする可能性もあります。たとえば、テストの結果、演台から立ち上がる頻度が高いほどハラスメント行為者である可能性が高いことが判明し、妊娠中や母乳を搾乳しているために頻繁に立ち上がらなければならない女性もいるとしたら、そのテストは妊婦に対して不公平ということになる。テストが信頼性が高く、有効で、偏りがなければ、雇用主は他の性格テストや他の類似の方法と同様に、そのテストを使用して特定した人材をターゲットにすることができます。

重要なのは、ルールを一貫して適用することです。雇用主が AI の学習内容に基づいて措置を講じたい場合 (たとえば、AI が不適切なオンライン発言にフラグを立てた場合)、措置をトリガーするしきい値を決定し、将来のケースでも一貫してそれに従うようにする必要があります。

実行されるアクションも適切かつ実行可能でなければなりません。たとえば、同僚が病気休暇を利用して出張していると人事部に報告があった場合、不正行為の決定的な証拠がなくても、調査するのが適切な対応です。調査後、懲戒処分が行われます。

雇用主が AI システムを通じて潜在的な不正行為を知るかどうかは重要ではありません。重要なのは、プロセスにおけるリスクと一貫性に対処することです。

AIの予測が正確で、企業が従業員を保護するための措置を講じなかった場合、法的責任につながる可能性があります。たとえば、従業員が他の従業員に性的嫌がらせをしたり、同僚に対して不適切な行動をとったりすることを会社が知っていた、または知っているべきだった場合、会社は「雇用継続不正行為」訴訟に直面する可能性があります。こうした訴訟は複雑で立証が難しい場合が多いが、従業員のソーシャルメディアの使用やオンライン投稿を監視する場合、雇用主はすでにある程度この問題に直面している。

職場での AI の使用に関する法的明確化が進み、AI システムの信頼性が証明されるまで、企業は従業員を監視して不正行為の可能性を予測するために AI を使用することに慎重になるべきです。そうでなければ、企業は特定の集団に影響を及ぼす可能性のあるシステムに依存していることに対して責任を問われる可能性があります。

[この記事は51CTOコラムニスト「李少鵬」によるオリジナル記事です。転載する場合はAnquannui（WeChat公開アカウントID：gooann-sectv）を通じて許可を得てください]

この著者の他の記事を読むにはここをクリックしてください