注目を浴びた分析と AI の 5 つの大惨事

データと機械学習アルゴリズムによって生成される洞察は非常に貴重ですが、間違いはあなたの評判、収益、さらにはあなたの命にさえ損害を与える可能性があります。これらの注目を集めた分析と AI の失敗は、何が問題になる可能性があるかをすべて示しています。

[[350287]]

2017年、『エコノミスト』誌は、石油ではなくデータが世界で最も価値のある資源になったと宣言しました。それ以来、そのようなコメントは一般的になりました。あらゆる業界の組織はすでにデータと分析に多大な投資を行っており、今後も投資を続けるでしょう。しかし、石油と同様に、データと分析にも暗い側面があります。

IDG が発表した 2020 CIO ステータス レポートによると、IT リーダーの 37% が、データ分析が今年、組織にとって最大の IT 投資になると回答しています。機械学習アルゴリズムによって実行される分析とアクションは、組織に競争上の優位性をもたらす洞察につながる可能性がありますが、間違いは評判、収益、さらには生命の安全の面で大きな損失をもたらす可能性があります。

データとその意味を知ることは重要ですが、ツールとデータを理解し、組織の価値を念頭に置くことも同様に重要です。

ここでは、過去 10 年間で最も注目すべき分析と AI の失敗をいくつか取り上げ、何が問題になる可能性があるかを説明します。

英国、スプレッドシートのデータが制限を超えたためコロナウイルス感染者数千人を失う

2020年10月、新型コロナウイルス感染症の新規感染者数を集計する政府機関であるイングランド公衆衛生局（PHE）は、9月25日から10月2日までの報告書に約1万6000件のコロナウイルス感染者が含まれていなかったことを明らかにした。この問題の原因はMicrosoft Excelのデータ制限にあった。

イングランド公衆衛生局は、自動化されたプロセスを使用して、陽性コロナウイルス検査結果を CSV ファイル形式で、ダッシュボードの報告や接触者追跡に使用される Excel テンプレートに転送します。残念ながら、各 Excel スプレッドシートは最大 1,048,576 行と 16,384 列をサポートします。さらに、イングランド公衆衛生局は症例を行ではなく列でリストアップしている。ケースが 16384 列の制限を超えると、Excel は下位 15841 レコードを切り捨てます。

この「小さな不具合」により、検査を受けた人々が結果を受け取ることは妨げられなかったが、接触者追跡の取り組みが妨げられ、英国国民保健サービス（NHS）が感染者と濃厚接触した人々を見つけて通知を送ることが困難になった。イングランド公衆衛生局の暫定最高責任者マイケル・ブロディ氏は10月4日の声明で、NHSの検査・追跡アプリとイングランド公衆衛生局が問題を迅速に解決し、記録されていないすべての症例を直ちにNHSの検査・追跡の接触追跡システムに移管したと述べた。

イングランド公衆衛生局は、同様の事件の再発を防ぐため、大きなファイルを分割し、すべてのシステムの包括的なエンドツーエンドの評価を実施する「迅速な緩和」措置を実施しました。

医療アルゴリズムは黒人患者を識別できない

2019年にサイエンス誌に掲載された研究によると、全国の病院や保険会社は医療予測アルゴリズムを使用して「高リスクケア管理」プログラムに含める必要のある患者を特定しており、そのアルゴリズムが特に黒人患者を標的にする可能性は低いことが示された。

高リスクケア管理プログラムでは、慢性疾患患者に訓練を受けた介護者とプライマリケアモニタリングを提供し、重篤な合併症の発症を予防します。しかし、アルゴリズムは黒人患者よりも白人患者を推奨する可能性が高かった。

研究では、アルゴリズムが個人の医療ニーズを判断するための指標として医療費を使用していることが判明した。しかし、サイエンティフィック・アメリカン誌は、より重篤な病気を患う黒人患者の医療費は、それほど重篤ではない白人患者の医療費と同程度であると報告しており、黒人患者の医療ニーズは大きいにもかかわらず、リスクスコアは依然として低いことを意味している。

この研究を行った研究者たちは、いくつかの要因がこの発見に寄与したと考えている。まず、有色人種は収入が低い傾向があり、健康保険に加入していても医療を受けられない可能性があります。暗黙の偏見により、質の高いケアを受けられない可能性もあります。

研究ではアルゴリズムやその開発者の名前は明かされていないが、研究者らはサイエンティフィック・アメリカン誌に対し、状況に対処するために開発者と協力していると語った。

データセットで訓練されたマイクロソフトのチャットボットが人種差別的なツイートを送信

2016 年 3 月、マイクロソフトは、Twitter のやり取りを機械学習アルゴリズムのトレーニング データとして使用すると、期待外れの結果が生じる可能性があることを知りました。

マイクロソフトはソーシャルメディアプラットフォーム上で人工知能チャットボット「Tay」をリリースし、これを「会話理解」の実験と呼んだ。会話理解は、チャットボットが 10 代の少女を体現し、機械学習と自然言語処理機能を組み合わせた Twitter を使用して人々と対話するというアイデアに基づいています。マイクロソフトは、匿名化された公開データとコメディアンが事前に作成したジョークを使用してコンテンツを充実させ、ソーシャル ネットワークでのやり取りから学習して発展させました。

わずか16時間で、チャットボットは95,000件以上のツイートを投稿したが、その内容は瞬時に変化し、露骨な人種差別、女性蔑視、反ユダヤ主義に満ちたものとなった。マイクロソフトは調整のためすぐにサービスを停止し、最終的にTayを無効にしました。

マイクロソフト リサーチ & インキュベーションのコーポレート バイス プレジデント (当時はマイクロソフト ヘルスケアのコーポレート バイス プレジデント) のピーター リー氏は、「Tay は悪意を持っていたわけではありませんが、それでもとんでもないツイートを投稿しました。この件について深くお詫び申し上げます。これらのツイートはマイクロソフトの立場や Tay の設計方法を表すものではありません」とコメントしています。事件後、リー氏はマイクロソフトの公式ブログにこのブログ記事を投稿しました。

リー氏は、Tayの前身はマイクロソフトが2014年に中国でリリースしたXiaoiceだと指摘した。XiaoiceはTayがリリースされる前の2年間で4000万人以上との会話に成功していた。マイクロソフトが考慮していなかったのは、TwitterユーザーのグループがすぐにTayに対して人種差別的、女性蔑視的な中傷を含むツイートをし始めたことだ。ボットはそのような素材をすぐに学習し、それを自身のツイートに取り入れました。

「当社はシステムのさまざまな悪用に対処する準備ができていたが、この特定の攻撃を監視することができなかった。その結果、Tayは極めて不適切で非難されるべき文章や画像をツイートした」とリー氏は書いている。

アマゾンのAI搭載採用ツールは男性のみを推薦

多くの大企業と同様に、Amazon は人事部門が求人応募書類を精査して最適な候補者を見つけるのに役立つツールを求めていました。 2014年、AmazonはAIベースの採用ソフトウェアの研究を始めました。ただ一つ問題がある。それは、この制度が男性候補者を著しく優遇していることだ。 2018年、ロイターはアマゾンがこのプロジェクトを中止したというニュースを報じた。

Amazon のシステムでは、候補者に対して 1 ～ 5 ポイントの星評価システムを使用します。しかし、このシステムの中核をなす機械学習モデルは、求職者がアマゾンに提出した10年分の履歴書でトレーニングされたもので、そのほとんどは男性からの提出だった。そのトレーニングデータを使用することで、システムは履歴書にある「女性」という単語を含む特定の単語をピックアップするようになり、女子大学を卒業した応募者の評価を下げるまでになった。

当時、アマゾンは、このツールはアマゾンの採用担当者が候補者を評価するために使用されたことは一度もないと述べていた。

アマゾンはツールを中立的なものにするために修正しようとしたが、最終的には候補者を差別する他の分類を学習しないことを保証できなかったため、プロジェクトは終了した。

ターゲットの分析はプライバシーを侵害する

2012年、小売大手ターゲットの分析プロジェクトがこの事実を実証しました。つまり、企業はデータから顧客についてどれだけ知ることができるかということです。ニューヨーク・タイムズ紙によると、2002年にターゲット社のマーケティング部門は、同社が顧客の妊娠を判断する方法を見つけられることを知った。この問題により予測分析プロジェクトが生まれ、その結果、小売業者は十代の少女の妊娠を家族にうっかり明かしてしまうという騒動を引き起こすことになった。その結果、この事件を「パープルファクター」を避けるためのアドバイスの一部として引用する記事やマーケティングブログが大量に登場した。

ターゲットのマーケティング部門は、妊娠に限らず、人生には人々の購買習慣が劇的に変化する時期があるため、妊娠中の人々を特定したいと考えていました。ターゲットがこの期間中に妊娠中の顧客にリーチできれば、これらの顧客の間で新しいショッピング行動を促進し、食料品、衣料品、その他の商品を求めてターゲットに来店してもらうことができます。

他の大手小売業者と同様に、Target は長年にわたり、ショッピング コード、クレジットカード、アンケートなどを通じて顧客に関するデータを収集してきました。そのデータは、購入した人口統計データやサードパーティのデータと統合されます。ターゲットの分析チームは、そのすべてのデータを分析することで、同社が販売する約 25 種類の製品をまとめて分析し、「妊娠予測」スコアを生成できることを突き止めました。マーケティング部門は、クーポンやマーケティング メッセージを使用して、高得点の顧客をターゲットにすることができます。

さらに調査を進めると、顧客の生殖能力の状態を調べることは、顧客の一部にとっては非常に不安なことである可能性があることが明らかになりました。ニューヨーク・タイムズ紙によると、ターゲットは精密マーケティングを放棄したわけではないが、妊婦が買わないと分かっている他の商品の広告（おむつの広告の隣に芝刈り機の広告を追加するなど）を混ぜて視聴者を混乱させ始めたという。