過去10年間のデータ分析と人工知能の7つの災害のレビュー

2017年、『エコノミスト』誌は、石油ではなくデータが世界で最も価値のある資源になったと宣言し、この考えはその後広まりました。今日、あらゆる業界の組織がデータと分析に多額の投資を行っており、今後も投資を継続していくでしょう。しかし、石油と同様に、データと分析にも暗い側面があります。

2022 年の CIO の現状調査によると、調査対象の IT リーダーの 35% が、データとビジネス分析が今年組織を推進する最大の IT 投資になると述べ、20% が機械学習/人工知能に言及しました。機械学習アルゴリズムによる分析とアクションから得られる洞察は、組織に競争上の優位性をもたらしますが、ミスは評判、収益、さらには人命の面で大きな損失をもたらす可能性があります。

データとその内容を理解することは重要ですが、ツールやデータについて理解し、組織の価格を念頭に置くことも重要です。

ここでは、過去 10 年間の注目度の高いデータ分析と AI の災害をいくつか紹介します。これらの災害は、これらのテクノロジーを導入する際に発生する可能性のある問題を示しています。

1. AIアルゴリズムはCOVID-19以外のすべてを発見した

COVID-19 の発生以来、多くの組織が機械学習アルゴリズムを使用して病院が患者の診断やトリアージをより迅速に行えるように支援しようとしてきました。しかし、英国の国立データサイエンス・AIセンターであるチューリング研究所によれば、これらの予測ツールはほとんど影響を与えていないという。

MIT Technology Review は多くの失敗を記録していますが、そのほとんどはツールのトレーニングやテスト方法のエラーに起因しています。その中でも、誤ってラベル付けされたデータや不明なソースからのデータの使用が、よくある原因となっています。

ケンブリッジ大学の機械学習研究者デレク・ドリッグス氏とその同僚は、ウイルス診断におけるディープラーニングモデルの使用を検討した論文を『ネイチャー・マシン・インテリジェンス』誌に発表した。この論文は最終的に、ディープラーニング技術は臨床使用には適していないことを明らかにした。たとえば、ドリッグス氏のチームは、立っている患者だけでなく横になっている患者のスキャンも含むデータセットでトレーニングしたため、独自のモデルに欠陥があることを発見した。横たわる患者は重症化する可能性が高いため、アルゴリズムはスキャン中の患者の位置に基づいてCOVID-19のリスクを特定することを学習した。

同様の例としては、健康な子供の胸部スキャンを含むデータセットを使用してアルゴリズムをトレーニングし、最終的に高リスク患者ではなく子供を識別することを学習した例があります。

2. 住宅購入アルゴリズムの不正確さにより、Zillow は数百万ドルの損失を出し、従業員を解雇

2021年11月、オンライン不動産取引大手のZillowは株主に対し、今後数四半期でZillow Offers事業を終了し、従業員の25％、約2,000人を解雇すると発表した。これは主に、住宅価格を予測するために使用される機械学習アルゴリズムのエラーによって引き起こされたZillowの一連の結果に起因するものだった。

Zillow Offers は、機械学習アルゴリズムによって導き出された住宅価値の「Zestimate」指数に基づいて、Zillow が物件に対して現金オファーを行い、物件を迅速に改装して再販することを目的とするプログラムです。しかし、ジロウの広報担当者はCNNに対し、このアルゴリズムの平均エラー率は1.9％で、非公開物件の場合はエラー率がさらに高くなり、6.9％に達する可能性があると語った。

CNNは、Zillowが2018年4月にオンライン化して以来、Zillow Offersを通じて27,000軒の住宅を購入したが、2021年9月末までに売却したのは17,000軒に過ぎないと報じた。 COVID-19の流行や住宅改修における労働力不足などのブラックスワンイベントにより、アルゴリズムの精度に問題が生じている。

ジローは、アルゴリズムのせいで、同社は誤って現在の評価額よりも高い価格で住宅を購入してしまい、2021年第3四半期に在庫価格が3億400万ドル減額されたと述べた。

ジロウの共同創業者兼CEOリッチ・バートン氏は発表後の投資家との電話会議で、アルゴリズムを微調整することは可能かもしれないが、最終的にはリスクが大きすぎると語った。

3. エクセルのスプレッドシートのデータ制限により、英国では何千ものCOVID-19症例が報告されなかった

2020年10月、新型コロナウイルス感染症の新規感染者数を集計する英国政府機関、イングランド公衆衛生局（PHE）は、9月25日から10月2日の間に新型コロナウイルスの症例が約1万6000件報告されていなかったことを明らかにした。犯人は誰でしょうか? 答えは、Microsoft Excel のデータ制限の問題です。

イングランド公衆衛生局は、自動化されたプロセスを使用して、COVID-19 の陽性検査結果を CSV ファイルとして Excel テンプレートに転送し、レポートダッシュボードや接触追跡に使用しています。残念ながら、Excel スプレッドシートでは、ワークシートごとに最大 1,048,576 行と 16,384 列がサポートされます。さらに、Public Health England は情報を行ではなく列で出力するため、16,384 列の制限に達すると、Excel は残りの 15,841 件のレコードを自動的に切り捨てます。

この不具合により、検査を受けた個人が結果を受け取ることは妨げられなかったが、接触者追跡の取り組みが妨げられ、英国国民保健サービス（NHS）が感染患者と濃厚接触した個人を特定して通知することがより困難になった。イングランド公衆衛生局の暫定最高責任者マイケル・ブロディ氏は10月4日の声明で、国民保健サービスの検査追跡システムとイングランド公衆衛生局が迅速に問題を解決し、すべての重要な記録が直ちにシステムに移管されたと述べた。

イングランド公衆衛生局は「迅速な修正」アプローチを採用し、まず大きなファイルを分割し、次に将来同様の事故を防ぐためにすべてのシステムの包括的なエンドツーエンドのレビューを実施しました。

4. 米国の医療アルゴリズムは黒人患者を識別できない

2019年にサイエンス誌に掲載された研究によると、全米の病院や保険会社が「高リスクケア管理」プログラムを必要とする患者を特定するために使用している医療予測アルゴリズムは、黒人患者を特に標的にする可能性は低いことが示された。

この高リスクケア管理プログラムは、慢性疾患の患者に訓練を受けた介護者とプライマリケア監視サービスを提供して、深刻な合併症を予防することを目的としています。しかし、アルゴリズムは黒人患者よりも白人患者をプログラムに紹介する可能性が高かった。

研究では、アルゴリズムが個人の医療ニーズを判断する基準として医療費を使用していることが判明した。しかし、サイエンティフィック・アメリカンによると、より重症の黒人患者の医療費は健康な白人患者のそれと同程度であり、黒人患者の医療ニーズは高かったにもかかわらず、彼らのリスクスコアは低かったことを意味している。

研究者たちは、いくつかの要因が関係している可能性があると考えている。第一に、有色人種は収入が低い傾向があり、保険に加入していても適切な医療を受けられる可能性が低い。暗黙の偏見により、有色人種が低品質の医療を受けることにもつながる可能性があります。

研究では具体的なアルゴリズムや開発者は明らかにされていないが、研究者らはScientific Americanに対し、開発者と協力して問題解決に取り組んでいると語った。

5. データセットで訓練されたマイクロソフトのチャットボットが人種差別的なツイートを投稿

2016 年 3 月、Microsoft は、Twitter のやり取りを機械学習アルゴリズムのトレーニング データとして使用すると、期待外れの結果が生じる可能性があることを発見しました。

マイクロソフトは、AIチャットボット「Tay」をTwitterで公開し、「会話理解」の実験だと説明した。 Microsoft はこのチャットボット用に女の子のキャラクターをデザインしました。このチャットボットは機械学習と自然言語処理を組み合わせて、Twitter を通じてユーザーと対話します。マイクロソフトは、匿名の公開データとコメディアンが事前に作成した素材をボットに入力し、ソーシャルネットワークでのやり取りからボットが自ら学習して進化できるようにした。

チャットボットは16時間で95,000件以上のツイートを投稿し、急速に露骨な人種差別、女性蔑視、反ユダヤ主義へと変化していった。マイクロソフトはすぐにこれを停止し調整を行いましたが、最終的にサービスを終了しました。

この事件の後、マイクロソフトの研究・インキュベーション部門のコーポレートバイスプレジデントであるピーター・リー氏（後にマイクロソフト・ヘルスのコーポレートバイスプレジデントを務めた）は、マイクロソフトの公式ブログに次のように投稿した。「Tayによる意図しない侮辱と傷つけるツイートについて深くお詫び申し上げます。これらのツイートは当社の立場やTayの設計方法を反映したものではありません。」

リー氏は、Tayの前身はマイクロソフトが2014年に中国でリリースしたXiaoIceだと指摘した。Tayのリリース前の2年間で、4000万人以上との会話に成功していた。マイクロソフトが考慮していなかったのは、TwitterユーザーのグループがすぐにTayに人種差別的、女性蔑視的なコメントを浴びせ始め、ボットがその情報をすぐに学習して最終的に自身のツイートに取り入れるだろうということだった。

「我々はシステムの悪用には何度も備えていたが、今回の攻撃に対しては全く備えが足りなかった。その結果、Tayは極めて不適切で非難されるべき文章や画像をツイートした。」

6. アマゾンのAI採用ツールは男性のみを推薦

多くの大企業と同様に、Amazon は人事部門が最適な候補者を選別して見つけるのに役立つツールを熱望していました。 2014年、Amazonはまさにそれを実現するAI採用ソフトウェアの開発を開始しました。しかし、問題がある。この選挙では男性候補者が圧倒的に有利なのだ。 2018年にロイターはアマゾンがこのプロジェクトを中止したと報じた。

アマゾンのシステムは、応募者を1つ星から5つ星のスケールで評価するが、システムの中核となる機械学習モデルは、アマゾンに提出されたほぼ10年分の履歴書でトレーニングされた。その履歴書のほとんどは男性のものだった。このデータを使ってトレーニングされたため、システムは女子大出身の応募者であっても、履歴書に「女性」という単語が含まれるフレーズに対して低い評価を与えるようになった。

当時、アマゾンは、このツールはアマゾンの採用担当者が候補者を評価するために使用されたことは一度もないと述べていた。

アマゾンは中立性を保つためにツールを微調整しようとしたが、最終的には、候補者をランク付けする別の差別的な方法を学習しないという保証はないと判断し、プロジェクトを終了した。

7. 小売大手ターゲットの分析プロジェクトはプライバシーを侵害している

2012 年、小売大手の Target による分析プロジェクトでは、Target がデータから顧客に関する洞察をどのように得たかが実証されました。 2002年、ターゲット社のマーケティング部門は、顧客が妊娠しているかどうかをどうやって判断するかを考え始め、最終的に予測分析プロジェクトに至り、その結果、ターゲット社は10代の少女の家族に彼女が妊娠していることをうっかり明かしてしまうことになったとニューヨークタイムズ紙は報じた。すると、さまざまな記事やマーケティングブログがこの事件を引用し、人々に「不気味な要素」を避けるようアドバイスし始めた。

ターゲットのマーケティング部門は、妊娠中は人々の買い物習慣が変化する可能性が高いため、妊娠中の顧客を特定したいと考えていました。このように、ターゲットがこの期間中にこれらの顧客にリーチし、これらの顧客の新しいショッピング行動を育成し、デパート、衣服、その他の商品を購入するためにターゲットを利用するようにすることができれば、

他の大手小売業者と同様に、Target は買い物客コード、クレジットカード、アンケートなどを通じて顧客データを収集してきました。それを買い物客の人口統計データやサードパーティのデータと組み合わせた後、Target の分析チームは、Target で販売されている約 25 の商品を分析することで「妊娠予測」スコアを生成できることを判断できました。マーケティング部門は、クーポンやマーケティング メッセージを使用して、評価の高い顧客をターゲットにすることができます。

さらに調査を進めると、顧客の生殖状態に関する調査は一部の顧客にとって不気味なものとなることが判明した。ターゲットはターゲットマーケティングを放棄したわけではないが、芝刈り機の広告をおむつの広告と一緒に表示するなど、妊婦が買わないであろう商品の広告を混ぜて、広告の強制感が薄れるようにしたとタイムズ紙は報じている。