データ分析とAIのミスが原因の注目度の高い事件9件

2017年、『エコノミスト』誌は、石油ではなくデータが世界で最も価値のある資源になったと宣言しました。それ以来、さまざまな業界の企業がデータと分析に多額の投資を行ってきましたが、石油と同様に、データと分析にも暗い側面があります。

2023 年の CIO の現状レポートのデータによると、IT リーダーの 34% が、データとビジネス分析が今年、自社の最大の IT 投資を推進するだろうと回答しています。 IT リーダーの 26% は、ML/AI が最大の IT 投資を推進すると述べています。 ML アルゴリズムによる分析とアクションから得られる洞察は、企業に競争上の優位性をもたらしますが、ミスは評判、収益、さらには命を奪う可能性があります。

データとその内容を理解することは重要ですが、ツールを知り、データを理解し、ビジネスの価値を念頭に置くことも重要です。

何が問題になるかを示すために、過去 10 年間で注目を集めたデータ分析と AI の失敗をいくつか紹介します。

AIを使って書かれたガネットのスポーツ記事には誤りがある

2023年8月、新聞チェーンのガネットは、AIによって書かれた複数のプレスリリースが繰り返しが多く、書き方が下手で、重要な詳細が欠けているとして話題になった後、LedeAIと呼ばれるAIツールの使用を一時停止すると発表した。

インターネット アーカイブの Wayback Machine に保存されている CNN の例の 1 つは、次のように始まります。「土曜日のオハイオ州の男子サッカーの試合で、ワージントン クリスチャンがウェスタービル ノーザンを 2 対 1 で破りました。」

CNNは、ルイビル・クーリエ・ジャーナル、フロリダ・トゥデイ、アリゾナ・セントラル、ミルウォーキー・ジャーナル・センチネルなど、ガネットの他の地方紙でもレデAIが書いた同様の記事を発見した。

これらの記事がソーシャルメディア上で激しく嘲笑された後、ガネットは、同社がサービスを利用しているすべての現地市場でLedeAIの使用を一時停止することを決定した。

LedeAIのCEO、ジェイ・オルレッド氏はCNNへの声明で謝罪し、問題の解決に24時間体制で取り組むことを約束した。

ITutorGroupが採用活動にAIを使用したところ、AIは年齢を理由に応募者を拒否した。

2023年8月、家庭教師会社iTutorGroupは、米国雇用機会均等委員会（EEOC）が提起した訴訟を和解するために36万5000ドルを支払うことに同意した。連邦政府機関によると、中国の学生に遠隔指導サービスを提供している同社は、AI採用ソフトウェアを使用して、55歳以上の女性応募者と60歳以上の男性応募者を自動的に拒否していたという。

雇用機会均等委員会は、このソフトウェアが200人以上の適格な応募者を自動的に拒否したと述べた。

「年齢差別は不当かつ違法だ」とEEOCのシャーロット・A・バロウズ委員長は声明で述べた。 「たとえテクノロジーが差別的慣行を自動化したとしても、雇用主には依然として責任がある。」

ITutorGroupは不正行為を否定したが、訴訟の和解を決定した。和解および同意判決の一環として、同社は新たな差別禁止方針を採用することに合意した。

ChatGPTは裁判を幻覚させる

2023 年に大規模言語モデルが達成した進歩により、ほぼすべての業界で AIGC の変革の可能性に対する幅広い関心が高まっています。 OpenAI の ChatGPT は、この関心の高まりの中心であり、創造的な AI がビジネスのほぼすべての分野で仕事の本質を一変させるであろうことを予告しています。

しかし、このテクノロジーがほとんどのビジネスプロセスを確実に引き継ぐようになるまでには、まだ長い道のりがあり、弁護士のスティーブン・A・シュワルツ氏は、2023年にコロンビアの航空会社アビアンカに対する訴訟の判例を調査するためにChatGPTを使用した後、米国地方裁判所のP・ケビン・カステル判事とトラブルになった。

法律事務所レビドウ・レビドウ・アンド・オーバーマンの弁護士であるシュワルツ氏は、2019年にアビアンカ航空の従業員ロベルト・マタ氏が傷害を理由に起こした訴訟を裏付けるために、OpenAI AIGCチャットボットを使用して過去の事例を検索した。唯一の問題は、訴訟要旨に記載されている訴訟のうち少なくとも 6 件が存在しないことだ。カステル判事は5月の提出書類で、シュワルツ氏の訴訟提出書類には虚偽の名前や訴訟記録番号、虚偽の内部引用や参考文献が含まれていたと指摘した。シュワルツ氏のパートナーであるピーター・ロドゥカ氏はマタ氏の代理人弁護士であり、自ら危険を冒して弁論要旨に署名した。

宣誓供述書の中で、シュワルツ氏は法廷に対し、ChatGPTを法的調査の情報源として利用したのは今回が初めてであり、「その内容が虚偽である可能性があるとは認識していなかった」と述べた。同氏は、AIチャットボットが提供した情報源を検証しなかったことを認めた。同氏はまた、「この記事のために行われた法的調査を補足するために生成AIを使用したことを深く後悔しており、その信憑性を完全に検証することなく将来的にそのようなことは決して行わない」と述べた。

2023年6月、カステル判事はシュワルツ氏とロデュカ氏に5,000ドルの罰金を科した。 6月の別の判決で、カステル判事はマタ氏によるアビアンカ航空に対する訴訟を棄却した。

AIアルゴリズムはCOVID-19以外のすべてを識別できる

COVID-19パンデミックの発生以来、多くの企業が機械学習（ML）アルゴリズムを適用して、病院が患者の診断やトリアージをより迅速に行えるように支援しようとしてきました。しかし、英国の国立データサイエンス・AIセンターであるチューリング研究所によれば、予測ツールはほとんど効果がないという。

MIT Technology Review は一連の失敗を記録したが、そのほとんどはツールのトレーニングやテストの方法におけるエラーに起因していた。誤ってラベル付けされたデータや不明なソースからのデータの使用が、よくある原因です。

ケンブリッジ大学の機械学習研究者デレク・ドリッグス氏とその同僚は、ウイルスの診断にディープラーニングモデルを使用する方法を検討した論文をネイチャー・マシン・インテリジェンス誌に発表した。この記事では、この技術は臨床応用には適していないと考えています。たとえば、ドリッグス氏のチームは、横になっている患者と立っている患者のスキャンを含むデータセットでトレーニングされたため、独自のモデルに欠陥があることを発見しました。横たわる患者は重症化する可能性が高いため、アルゴリズムはスキャン中の人物の位置に基づいてコロナウイルス感染のリスクを識別することを学習した。

同様の例として、健康な子供の胸部スキャンで構成されるデータセットを使用してトレーニングされたアルゴリズムがあります。アルゴリズムは子供を識別することを学習したが、高リスク患者を識別することはできなかった。

Zillow、アルゴリズムによる住宅購入の危機が迫る中、数百万ドルを減損、人員削減

2021年11月、オンライン不動産マーケットプレイスのZillowは株主に対し、今後数四半期でZillow Offers事業を終了し、従業員の25％、約2,000人を解雇すると発表した。住宅転売部門の苦境は、住宅価格を予測するために使用する機械学習アルゴリズムのエラー率の結果である。

Zillow Offers は、機械学習アルゴリズムから導き出された住宅の価値の「Z 推定値」に基づいて、同社が不動産に対して現金オファーを行うプログラムです。そのアイデアは、その物件を改装してすぐに転売するというものでした。しかし、ジロウの広報担当者はCNNに対し、このアルゴリズムの平均エラー率は1.9％で、非公開物件の場合はエラー率が6.9％とさらに高くなる可能性があると語った。

CNNは、Zillowが2018年4月の開始以来、Zillow Offersを通じて27,000件の住宅を購入しているが、2021年9月末時点で販売されたのは17,000件に過ぎないと報じた。 COVID-19パンデミックや住宅改修における労働力不足などのブラックスワンイベントにより、アルゴリズムの精度に問題が生じている。

ジローは、アルゴリズムのせいで、将来の販売価格の現在の見積もりよりも高い価格で住宅を誤って購入してしまい、2021年第3四半期に在庫の減損3億400万ドルを被ったと述べた。

発表後の投資家との電話会議で、ジロウの共同創業者兼CEOのリッチ・バートン氏は、アルゴリズムはおそらく調整できるだろうが、最終的にはリスクが大きすぎると語った。

医療アルゴリズムは黒人患者を識別できない

2019年にサイエンス誌に掲載された研究によると、全米の病院や保険会社が高リスクのケア管理プログラムを必要とする患者を特定するために使用している医療予測アルゴリズムでは、黒人患者が標的とされる可能性がはるかに低いことが示された。

高リスクケア管理プログラムでは、慢性疾患の患者に訓練を受けた介護者とプライマリケアモニタリングを提供し、深刻な合併症を予防します。しかし、アルゴリズムは黒人患者よりも白人患者にこれらのプログラムを推奨する可能性が高かった。

研究では、アルゴリズムが個人の医療ニーズを判断するための指標として医療費を使用していることが判明した。しかし、サイエンティフィック・アメリカン誌によると、病状の重い黒人患者の医療費は、より健康な白人患者と同程度であり、彼らのニーズは大きいにもかかわらず、リスクスコアは低くなっている。

研究者らは、いくつかの要因が関係している可能性があると述べている。まず、有色人種は収入が低い傾向があり、保険に加入していても医療を受けることが困難になることがあります。暗黙の偏見により、有色人種が低品質の医療を受ける可能性もある。

研究ではアルゴリズムやその開発者の名前は明かされていないが、研究者らはサイエンティフィック・アメリカン誌に対し、状況に対処するために開発者と協力していると語った。

DataSet が Microsoft チャットボットを訓練して人種差別的なツイートを送らせる

2016 年 3 月、マイクロソフトは、Twitter のやり取りを機械学習アルゴリズムのトレーニング データとして使用すると、期待外れの結果が生じる可能性があることを知りました。

マイクロソフトは、ソーシャル メディア プラットフォーム上で AI チャットボットの Tay をリリースしました。同社はこれを「会話理解」の実験だと説明した。アイデアは、チャットボットが10代の女の子のペルソナを担い、機械学習と自然言語処理を組み合わせてTwitter経由で個人と対話するというものでした。マイクロソフトは、匿名化された公開データと少数のコメディアンが事前に作成した素材をこのアプリに提供し、その後、このアプリがソーシャル ネットワーク上でのやり取りから学習し、進化するようにした。

16時間で、チャットボットは95,000件以上のツイートを投稿し、それらはすぐに明らかに人種差別的、女性蔑視的、反ユダヤ的になった。マイクロソフトはすぐにサービスを停止し、調整を行った後、最終的にサービスをキャンセルしました。

この事件の後、マイクロソフトリサーチ＆インキュベーション担当副社長（当時はマイクロソフトヘルスケア担当副社長）のピーター・リー氏は、マイクロソフトの公式ブログに次のように投稿した。「タイの意図しない攻撃と人を傷つけるツイートについて深くお詫び申し上げます。これらのツイートは、当社の存在や理念、タイの設計方法を反映したものではありません。」

リー氏は、2014年にマイクロソフトが中国でリリースしたTayの前身であるXiaoIceが、Tayのリリース前の2年間で4000万人以上との会話に成功していたと指摘した。マイクロソフトが考慮していなかったのは、Twitter ユーザーのグループが即座に Tay に対して人種差別的、女性蔑視的なコメントをツイートし始めるということだった。ボットはすぐにその資料を学習し、それを自身のツイートに取り入れました。

当社は、システムに対するさまざまなタイプの不正使用に備えていましたが、この特定の攻撃については重大な過失がありました。その結果、タイ氏は極めて不適切で非難されるべき言葉や写真をツイッターに投稿した。

アマゾンのAI採用ツールは男性のみを推薦

多くの大企業と同様に、アマゾンも人事部門が最適な求職者を選別するのに役立つツールを切望していた。 2014年、Amazonはこの目標を達成するためにAI採用ソフトウェアの開発を開始しました。ただ一つ問題がある。この制度は男性候補者をかなり優遇しているのだ。 2018年、ロイターはアマゾンがこのプロジェクトを断念したというニュースを報じた。

Amazon のシステムでは、応募者を 1 から 5 のスケールで評価します。しかし、システムの中核となる機械学習モデルは、アマゾンに提出された10年分の履歴書でトレーニングされており、そのほとんどは男性のものだった。トレーニングデータの結果、システムは履歴書に「女性」という単語が含まれるフレーズがあるとペナルティを課し始め、女子大学からの応募者を格下げすることさえあった。

当時アマゾンは、このツールがアマゾンの採用担当者によって求職者の評価に使用されたことは一度もないと述べていた。

同社はツールをより中立的なものにするために編集しようとしたが、最終的には、候補者をランク付けする他の差別的な方法を学習しないことを保証できないと判断し、プロジェクトを終了した。

ターゲットの分析はプライバシーを侵害する

2012年、小売大手ターゲットの分析プロジェクトは、企業がデータから顧客についてどれだけ多くのことを学べるかを実証しました。ニューヨーク・タイムズ紙によると、ターゲットのマーケティング部門は2002年に顧客が妊娠しているかどうかを判断する方法を検討し始めた。この調査は予測分析プロジェクトにつながり、周知のとおり、小売業者は十代の少女の家族に彼女が妊娠していることをうっかり明かしてしまうことになりました。その結果、さまざまな記事やマーケティングブログで、この事件が「不気味さ」を避けるためのアドバイスの一部として取り上げられるようになりました。

ターゲットのマーケティング部門は、人生のある時期、特に妊娠中は、人々の購買習慣が劇的に変化する可能性が高いため、妊娠中の人々を特定したいと考えていました。たとえば、ターゲットがこの期間中に顧客にリーチできれば、顧客の間で新しい行動を開発し、食料品、衣料品、その他の商品をターゲットで購入してもらうことができます。

他の大手小売業者と同様に、Target は買い物客コード、クレジットカード、アンケートなどを通じて顧客データを収集しています。そのデータは、人口統計データや購入したサードパーティのデータと混合されます。ターゲットの分析チームは、このデータすべてを分析することで、ターゲットで販売されている約 25 種類の製品を特定し、それらをまとめて分析して「妊娠予測」スコアを生成できると判断しました。マーケティング部門は、クーポンやマーケティング メッセージを使用して、スコアの高い顧客をターゲットにすることができます。

さらに調査を進めると、クライアントの生殖状態を調べることが、一部のクライアントにとって不気味なことである可能性があることが明らかになる。ニューヨーク・タイムズ紙によると、同社はターゲットマーケティングを放棄したわけではないが、芝刈り機やおむつなどの妊婦が買わないであろう商品の広告を掲載し始め、消費者にとって広告の組み合わせがランダムに感じられるようになったという。