統計分析と人工知能の9つの有名な大惨事

2017年、『エコノミスト』誌は、石油ではなくデータが世界で最も価値のある資源になったと宣言しました。このフレーズはそれ以来ずっと繰り返されてきました。あらゆる業界の組織は、データと分析に多額の投資を行っており、今後も投資を続けるでしょう。しかし、石油と同様に、データと分析にも暗い側面があります。

CIO ウェブサイトが発表した「2023 CIO State」レポートによると、IT リーダーの 34% が、データとビジネス分析が今年、自社の IT 投資の最大の推進力になると回答しています。また、IT リーダーの 26% は、機械学習/人工知能が IT 投資を最も促進するだろうと述べています。分析から得られる洞察と機械学習アルゴリズムによるアクションは、企業に競争上の優位性をもたらしますが、一歩間違えれば評判、収益、さらには命の面で大きな損失を被る可能性があります。

データとその内容を理解することは重要ですが、ツールを使いこなし、データを理解し、組織の価値観を念頭に置くことも同様に重要です。

ここでは、過去 10 年間の統計分析と人工知能における注目度の高い失敗をいくつか紹介します。これらは、今後何が起こるかを示唆しています。

01ガネットのAIが高校スポーツの記事を間違える

2023年8月、新聞チェーンのガネットは、AIによって書かれた複数の記事が、繰り返しや文章の質の悪さ、重要な詳細の欠如によりオンラインで拡散したことを受けて、LedeAIと呼ばれる人工知能ツールの使用を一時停止すると発表した。

CNN は、インターネット アーカイブの Wayback Machine によって保存された、次のように始まる例を挙げた。「土曜日、オハイオ州で行われた男子サッカーの試合で、ワージントン クリスチャン [優勝チーム] がウェスタービル ノース [敗戦チーム] を 2 対 1 で破った。」

CNNは、ルイビル・クーリエ・ジャーナル、セントラル・アリゾナ、フロリダ・トゥデイ、ミルウォーキー・ジャーナル・センチネルなど、ガネット傘下の他の新聞にも、LedeAIが書いた同様の記事を発見した。

これらの記事の報道がソーシャルメディア上で広く嘲笑された後、ガネットは、LedeAIのサービスを利用しているすべての地元メディアで同サービスの使用を停止することを決定した。

LedeAIのCEO、ジェイ・オルレッド氏はCNNへの声明で遺憾の意を表し、問題をできるだけ早く修正することを約束した。

02 iTutorGroupの採用AIは年齢に基づいて応募者を拒否する

2023年8月、家庭教師会社iTutorGroupは、米国雇用機会均等委員会（EEOC）が提起した訴訟を和解するために36万5000ドルを支払うことに同意した。連邦機関によると、中国人学生に遠隔指導サービスを提供しているこの会社は、人工知能（AI）を活用した採用ソフトウェアを使用して、55歳以上の女性応募者と60歳以上の男性応募者を自動的に拒否していたという。

EEOCは、このソフトウェアが200人以上の適格な求職者を自動的に拒否したと述べた。

「年齢差別は不当かつ違法だ」とEEOCのシャーロット・A・バロウズ委員長は声明で述べた。「テクノロジーが差別を自動化したとしても、雇用主は依然として責任を問われる可能性がある」

iTutorGroupは不正行為を否定したが、訴訟の和解を決定した。和解および同意命令の一環として、iTutorGroup は新たな差別禁止方針を採用することに同意しました。

03 ChatGPTファンタジー裁判

2023 年の大規模言語モデル (LLM) の進歩により、ほぼすべての業界で生成 AI の変革の可能性に対する幅広い関心が高まっています。 OpenAI の ChatGPT はこの興奮の中心であり、生成 AI がほぼすべてのビジネス セクターで仕事の本質を一変させる前兆となっています。

しかし、このテクノロジーがほとんどのビジネスプロセスを確実に引き継ぐようになるまでには、まだ長い道のりがある。弁護士のスティーブン・A・シュワルツ氏は2023年、コロンビアの航空会社アビアンカに対する訴訟の判例調査にChatGPTを使用した米国地方裁判所のP・ケビン・カステル判事と意見が対立した際にそのことを学んだ。

法律事務所レビドウ・レビドウ・アンド・オーバーマンの弁護士であるシュワルツ氏は、アビアンカ航空の従業員ロベルト・マタ氏が2019年に負傷したとして起こした訴訟を裏付けるために、OpenAIの生成AIチャットボットを使用して過去の事例を検索した。何が問題なのか心配ですよね？問題は、弁論要旨に記載されている事例のうち少なくとも 6 件が存在しないことです。カステル判事は5月の提出書類で、シュワルツ氏の訴訟書類には虚偽の名前や訴訟記録番号、虚偽の内部言及や引用文が含まれていると指摘した。シュワルツ氏のパートナーであるピーター・ロドゥカ氏はマタ氏の登録弁護士であり、弁論書に署名したため、自ら危険にさらされた。

シュワルツ氏は宣誓供述書の中で、ChatGPTを法的調査の情報源として利用したのは今回が初めてであり、「その内容が虚偽である可能性があることに気づかなかった」と法廷に述べた。 AIチャットボットが提供した情報の出所を確認していないことを認めた。同氏はまた、「ここで行われた法的調査を補完するために生成AIを使用したことを深く後悔しており、その信憑性を完全に検証することなく将来的にそのようなことを行わないことを誓う」と述べた。

2023年6月、カステル判事はシュワルツ氏とロデュカ氏に5,000ドルの罰金を科した。今年6月の別の判決で、カステル判事はマタ氏のアビアンカ航空に対する訴訟を棄却した。

04  人工知能アルゴリズムはCOVID-19以外のすべてのウイルスを識別できる

COVID-19 パンデミックが始まって以来、多くの組織が、病院が患者をより迅速に診断またはトリアージできるように機械学習 (ML) アルゴリズムを適用しようとしてきました。しかし、英国の国立データサイエンスおよびAI研究機関であるチューリング研究所によると、これらの予測ツールはほとんど効果がないそうです。

MIT Technology Review は一連の失敗事例を記録しましたが、そのほとんどはツールのトレーニングやテスト方法の誤りが原因でした。誤ってラベル付けされたデータや不明なソースからのデータの使用が、よくある原因です。

ケンブリッジ大学の機械学習研究者デレク・ドリッグス氏とその同僚は、ディープラーニングモデルを使用してウイルスを診断する際の問題を調査した論文をネイチャー・マシン・インテリジェンス誌に発表した。論文では、この技術は臨床使用には適していないと結論付けている。たとえば、ドリッグス氏のチームは、横になった状態でスキャンされた患者と立った状態でスキャンされた患者を含むデータセットでトレーニングされたため、独自のモデルに欠陥があることを発見しました。横たわる患者は重症化する可能性が高いため、アルゴリズムはスキャン中の人の姿勢に基づいてCOVIDのリスクを識別することを学習した。

同様の例として、健康な子供の胸部スキャンを含むデータセットを使用してアルゴリズムをトレーニングすることが挙げられます。アルゴリズムは子供を識別することを学習したが、高リスク患者を識別することはできなかった。

05 Zillow、アルゴリズムによる住宅購入の失敗で数百万ドルの損失を出し、従業員を解雇

2021年11月、オンライン不動産マーケットプレイスのZillowは株主に対し、今後数四半期でZillow Offers事業を閉鎖し、従業員の25％、つまり約2,000人を解雇すると発表した。リフォーム業界の苦境は、住宅価格を予測するために使用された機械学習アルゴリズムのエラー率によって引き起こされた。

Zillow Offers は、同社が機械学習アルゴリズム Zestimate に基づいて物件を評価し、現金での購入を提案するプログラムです。物件を改装してすぐに販売しようというアイデアでした。しかし、ジロウの広報担当者はCNNに対し、アルゴリズムの平均エラー率は1.9％で、非公開物件のエラー率は6.9％にまで高まる可能性があると語った。

CNNは、2018年4月にZillow Offersを開始して以来、Zillowはプラットフォームを通じて27,000件の住宅を購入しているが、2021年9月末時点で販売されたのは17,000件に過ぎないと報じた。 COVID-19パンデミックや住宅改修の労働力不足などのブラックスワンイベントにより、アルゴリズムの精度に問題が生じている。

ジローは、アルゴリズムのせいで、将来の販売価格の現在の見積もりよりも高い価格で住宅を誤って購入してしまい、2021年第3四半期に3億400万ドルの在庫減損が発生したと述べた。

ジロウの共同創業者兼CEOリッチ・バートン氏は発表後の投資家向け電話会議で、アルゴリズムはおそらく調整できるだろうが、いずれにしてもリスクが大きすぎると語った。

06メディケアのアルゴリズムは黒人患者を除外

2019年にサイエンス誌に掲載された研究によると、全米の病院や保険会社が「高リスクケア管理」プログラムを必要とする患者を特定するために使用している医療予測アルゴリズムには、黒人患者が含まれる可能性が低いことが示された。

高リスクケア管理プログラムでは、慢性疾患の患者に訓練を受けた介護者とプライマリケアモニタリングを提供し、深刻な合併症を予防します。しかし、アルゴリズムは黒人患者よりも白人患者をこれらのプログラムに推奨する傾向が強かった。

研究では、アルゴリズムが個人の医療ニーズを判断するための代理として医療費を使用していることが判明した。しかし、サイエンティフィック・アメリカンによると、病気の黒人患者の医療費は、より健康な白人患者のそれと同程度であり、彼らのニーズは大きいにもかかわらず、リスクスコアは低くなっている。

研究者たちは、いくつかの要因が原因となっている可能性があると考えている。まず、有色人種は収入が低い傾向があり、そのため保険に加入していても医療を受けられる可能性が低くなる可能性があります。暗黙の偏見により、有色人種が低品質の医療を受けることにもつながる可能性があります。

研究ではアルゴリズムやその開発者の名前は明かされていないが、研究者らはサイエンティフィック・アメリカン誌に対し、開発者と協力して問題解決に取り組んでいると語った。

07データセットはマイクロソフトのチャットボットに人種差別的なツイートを投稿するよう訓練する

2016 年 3 月、マイクロソフトは、Twitter のやり取りを機械学習アルゴリズムのトレーニング データとして使用すると、期待外れの結果が生じる可能性があることを知りました。

マイクロソフトは、ソーシャルメディアプラットフォーム上で人工知能チャットボット「Tay」をリリースした。同社はこれを「会話理解」の実験だと説明している。そのアイデアは、チャットボットが10代の女の子のふりをして、機械学習と自然言語処理を組み合わせてTwitter経由で個人と対話するというものでした。マイクロソフトは、匿名化された公開データと何人かのコメディアンが事前に作成した素材を番組に提供し、ソーシャル ネットワーク上のやり取りから番組が学習して進化するようにした。

16時間で、チャットボットは95,000件以上のツイートを投稿したが、それらはすぐに明らかに人種差別的、女性蔑視的、反ユダヤ的な発言に変わった。マイクロソフトはすぐにサービスを停止して調整を行い、最終的にサービスを中止した。

この事件の後、マイクロソフトの研究・インキュベーション部門のコーポレートバイスプレジデント（当時はヘルスケア部門のコーポレートバイスプレジデント）であるピーター・リー氏は、マイクロソフトの公式ブログに次のように投稿した。「Tayが誤って送信した不快で傷つくようなツイートについて深くお詫び申し上げます。これらのツイートは当社のアイデンティティや立場を表すものではなく、Tayの設計方法を表すものでもありません。」

リー氏は、Tayの前身であるXiaoIceが2014年にマイクロソフトによって中国でリリースされ、Tayのリリースまでの2年間で4000万人以上との会話に成功したと指摘した。マイクロソフトが考慮していなかったのは、Twitter ユーザーのグループが即座に Tay に対して人種差別的、女性蔑視的なコメントをツイートし始めるということだった。ボットはすぐにこの資料を学習し、それを自身のツイートに組み込みました。

「我々はシステムのさまざまな悪用に備えていたが、今回の攻撃では重大な過失があった」とリー氏は書いている。「その結果、Tayは不適切で非難されるべき大量のテキストと画像をツイートした。」

08アマゾンのAI採用ツールは男性のみを推薦

多くの大企業と同様に、Amazon は人事部門が最適な候補者を選別するのに役立つツールを熱望していました。 2014年、Amazonはこの目標を達成するためにAIを活用した採用ソフトウェアの開発を開始しました。ただ一つ問題があります。それは、この制度が男性の求職者を非常に優遇しているということです。 2018年にロイターはアマゾンがこのプロジェクトを中止したと報じた。

アマゾンのシステムは求職者を1つ星から5つ星のスケールで評価するが、システムの中核となる機械学習モデルはアマゾンに提出された10年分の履歴書でトレーニングされており、そのほとんどは男性のものだった。トレーニングデータの結果、システムは履歴書に「女性」という単語が含まれるフレーズがあるとペナルティを科すようになり、女子大学からの応募者を降格させるまでになった。

当時、アマゾンは、アマゾンの採用担当者が求職者の評価にこのツールを使ったことは一度もないと述べていた。

同社はツールを中立的なものにするために編集しようとしたが、最終的には、応募者をランク付けするための他の差別的な方法を学習しないという保証はないと判断し、プロジェクトを終了した。

ターゲットアナリティクスのプライバシー侵害

2012年、小売大手ターゲットの分析プロジェクトは、企業がデータから顧客についてどれだけ多くのことを学べるかを実証しました。ニューヨーク・タイムズ紙によると、2002年にターゲット社のマーケティング部門は、顧客が妊娠しているかどうかをどうやって見分けるかを考え始めたという。この疑問がきっかけで予測分析プロジェクトが開始され、小売業者は10代の少女の妊娠を彼女の家族にうっかり告げてしまうこととなった。その結果、さまざまな記事やマーケティングブログで、この事件を「サイバーテロ」を避けるためのアドバイスの一部として引用することになった。

ターゲットのマーケティング部門は、人生において人々の購買習慣が劇的に変化する可能性が高い時期があり、妊娠はその1つであるため、妊婦を特定したいと考えました。ターゲットがこの期間中に顧客にアプローチできれば、顧客の間で新たな行動を生み出し、食料品や衣料品、その他の商品を購入するためにターゲットに行くように促すことができます。

他の大手小売業者と同様に、Target はショッピング コード、クレジットカード、アンケートなどを通じて顧客データを収集しています。このデータは、人口統計データおよび購入したサードパーティのデータと組み合わせられます。ターゲットの分析チームはすべてのデータを分析し、ターゲットが販売する約25種類の商品を組み合わせることで「妊娠予測」スコアを生成できると判断した。マーケティング部門は、高得点の顧客にクーポンやマーケティング情報を提供できます。

さらに調査を進めると、クライアントの生殖能力の状態を調べることは、一部のクライアントにとって不気味な行為である可能性があることが示唆されています。同社はターゲットマーケティングを放棄したわけではないが、おむつ広告の隣に芝刈り機の広告を挿入するなど、意図的ではないと感じられるよう、妊婦が買わないであろう商品の広告を混ぜ始めたとニューヨーク・タイムズは伝えている。

出典: www.cio.com