未来を待つ必要はありません。分析と AI の災害はすでに起こっています。

データと機械学習アルゴリズムから得られる洞察は非常に貴重ですが、ミスは評判、収益、さらには命を奪う可能性があります。

2017年、『エコノミスト』誌は、データが石油に代わって「世界で最も価値のある資源」になったと宣言しました。それ以来、あらゆる業界の組織がデータと分析に多額の投資を始めました。しかし、石油と同様に、データと分析にも暗い側面があります。

2023 年の CIO の現状レポートによると、IT リーダーの 34% が、データとビジネス分析が今年の組織の IT 投資の大部分を推進すると述べています。 IT リーダーの 26% は、機械学習/AI が IT 投資の大部分を推進すると述べています。機械学習アルゴリズムによる分析とアクションから得られる洞察は、組織に競争上の優位性をもたらしますが、ミスは評判、収益、さらには人命の面で大きな損失をもたらす可能性があります。

ここでは、何が問題になる可能性があるかを示すために、過去 10 年間の注目度の高い分析と AI の失敗をいくつか紹介します。

ChatGPTの「偽の」裁判

2023 年の大規模言語モデル (LLM) の進歩により、ほぼすべての業界で生成 AI の変革の可能性に対する幅広い関心が高まっています。 OpenAI の ChatGPT は、この関心の高まりの中心であり、生成 AI がビジネスのほぼすべての分野で仕事の本質をひっくり返す力を持っていることを予感させます。

しかし、弁護士のスティーブン・A・シュワルツ氏と米国地方裁判所のP・ケビン・カステル判事も十分承知しているように、この技術が実際にほとんどのビジネスプロセスを代替できるようになるまでには、まだ長い道のりがある。 2023年、シュワルツ氏はコロンビアの航空会社アビアンカに対する訴訟でChatGPTの研究の判例を利用したが、この訴訟は論争に巻き込まれた。

法律事務所レビドウ・レビドウ・アンド・オーバーマンの弁護士であるシュワルツ氏は、2019年にアビアンカ航空の従業員ロベルト・マタ氏が傷害を理由に起こした訴訟を裏付けるために、OpenAIの生成AIチャットボットを使用して過去の事例を検索した。唯一の問題は？要約書に記載されている事例のうち少なくとも 6 件は存在しません。カステル判事は5月の提出書類で、シュワルツ氏の訴訟書類には虚偽の名前や訴訟番号、虚偽の内部言及が含まれていたと指摘した。

宣誓供述書の中で、シュワルツ氏は法廷で、ChatGPTを法的調査の情報源として利用したのは今回が初めてであり、その内容が虚偽である可能性があるとは知らなかったと述べた。彼は、AIチャットボットが提供した情報の出所をまだ確認していないことを認めた。同氏はまた、「ここで行われた法的調査を補完するために、特にその信憑性を完全に検証することなく生成AIを使用したことを非常に後悔しており、将来も二度とそのようなことはしない」と述べた。

2023年6月現在、シュワルツ弁護士は裁判所から制裁を受ける可能性が非常に高い。

AIアルゴリズムはCOVID-19以外のすべてを識別します

COVID-19 パンデミックが始まって以来、多くの組織が、病院が患者をより迅速に診断またはトリアージできるように機械学習 (ML) アルゴリズムを適用しようとしてきました。しかし、英国の国立データサイエンス・人工知能センターであるチューリング研究所によれば、これらの予測ツールはほとんど効果がなかったという。

MIT Technology Review は数多くの失敗を記録していますが、そのほとんどはツールのトレーニングやテストの方法におけるエラーに起因しています。誤ってラベル付けされたデータや不明なソースからのデータを使用することが最も一般的な理由です。

ケンブリッジ大学の機械学習研究者デレク・ドリッグス氏とその同僚は、ウイルスの診断にディープラーニングモデルを使用する方法を検討した論文を「ネイチャー・マシン・インテリジェンス」誌に発表した。記事では、この技術は臨床使用には適していないと指摘している。たとえば、ドリッグス氏のグループは、横になっている患者と立っている患者のスキャンを含むデータセットでトレーニングされていたため、独自のモデルに欠陥があることを発見しました。横たわっている患者は重症化する可能性が非常に高いため、アルゴリズムはスキャン中の人物の位置に基づいてCOVIDのリスクを識別することを学習した。

同様の例として、健康な子供の胸部スキャンを含むデータセットを使用してトレーニングされたアルゴリズムがあります。アルゴリズムは子供を識別することを学習したが、高リスク患者を識別することはできなかった。

Zillow、アルゴリズムの失敗で従業員を解雇

2021年11月、オンライン不動産マーケットプレイスのZillowは株主に対し、AIによる住宅転売事業「Zillow Offers」を終了し、今後数四半期で従業員の25％（約2,000人）を解雇すると発表した。住宅転売業界の苦境は、住宅価格を予測するために使用されている機械学習アルゴリズムのエラー率によって引き起こされた。

Zillow Offers は、同社が「Zestimate」と呼ばれる機械学習アルゴリズムによって算出された住宅の価値に基づいて、不動産に対して現金オファーを行うことができるプログラムです。目的は、物件を改装してすぐに販売することでした。しかし、ジロウの広報担当者は、このアルゴリズムの平均エラー率は1.9％で、非公開物件の場合は6.9％まで高くなる可能性があると述べた。

CNNによると、Zillowは2018年4月の開始以来、Zillow Offersを通じて27,000軒の住宅を購入しているが、2021年9月末までに販売したのは17,000軒に過ぎない。新型コロナウイルス感染症のパンデミックや住宅リフォームの労働力不足などの「ブラックスワンイベント」により、アルゴリズムの精度に問題が生じている。

ジローは、アルゴリズムのせいで住宅を高値で購入することになり、2021年第3四半期に在庫で3億400万ドルの評価損を出したと述べた。

ジロウの共同創業者兼CEOリッチ・バートン氏は発表後の投資家との電話会議で、アルゴリズムはおそらく調整できるだろうが、最終的にはリスクが大きすぎると語った。

英国、スプレッドシートのデータ制限により数千件のCOVID感染者を失う

2020年10月、新型コロナウイルス感染症の新規感染者数を集計する英国政府機関、公衆衛生イングランド（PHE）は、9月25日から10月2日の間にコロナウイルスの症例が約1万6000件報告されていなかったことを明らかにした。原因は Microsoft Excel のデータ制限です。

PHE は自動化されたプロセスを使用して、COVID-19 陽性検査結果を CSV ファイルとして Excel テンプレートに転送し、ダッシュボードのレポート作成と接触追跡に使用しています。残念ながら、Excel スプレッドシートでは、ワークシートあたり最大 1,048,576 行、16,384 列までしか持つことができません。さらに、PHE はケースを行ではなく列でリストします。 16,384 列の制限を超えると、Excel は下位 15,841 レコードを削除します。

この不具合により、検査を受けた個人が結果を受け取ることは妨げられなかったが、接触者追跡の取り組みが妨げられ、英国国民保健サービス（NHS）が感染患者と濃厚接触した個人を特定して通知することがより困難になった。 PHEの暫定最高経営責任者マイケル・ブロディ氏は10月4日の声明で、NHSテスト・アンド・トレースおよびPHEが問題を迅速に解決し、未解決のケースはすべてNHSテスト・アンド・トレースの接触者追跡システムに直ちに移管されたと述べた。

PHE は「迅速な緩和」措置を実施し、大きなファイルを分割し、将来同様のインシデントが発生しないようにすべてのシステムの包括的なエンドツーエンドのレビューを実施しました。

医療アルゴリズムは黒人患者を識別できない

2019年にサイエンス誌に掲載された研究によると、全米の病院や保険会社が「高リスクケア管理」プログラムを必要とする患者を特定するために使用している医療予測アルゴリズムでは、黒人患者が標的とされる可能性が低いことが示された。

高リスクケア管理プログラムでは、慢性疾患の患者に訓練を受けた介護者とプライマリケアモニタリングを提供し、深刻な合併症を予防します。しかし、アルゴリズムは黒人患者よりも白人患者にこれらのプログラムを推奨する可能性が高かった。

研究では、アルゴリズムが個人の医療ニーズを判断するための代理として医療費を使用していることが判明した。しかし、サイエンティフィック・アメリカン誌によると、病気の黒人患者の医療費は健康な白人のそれと同程度であり、彼らのニーズは大きいにもかかわらず、リスクスコアは低いことを意味している。

研究者たちは、いくつかの要因が関係している可能性があると考えている。まず、有色人種は収入が低い傾向があり、そのため保険に加入していても医療を受けられる可能性が低い可能性があります。暗黙の偏見により、有色人種が低品質の医療を受ける可能性もある。

研究ではアルゴリズムやその開発者の名前は明かされていないが、研究者らはサイエンティフィック・アメリカン誌に対し、状況に対処するために開発者と協力していると語った。

データセットはマイクロソフトのチャットボットに人種差別的なツイートを投稿するよう訓練する

2016 年 3 月、マイクロソフトは、Twitter のやり取りを機械学習アルゴリズムのトレーニング データとして使用すると、期待外れの結果が生じる可能性があることを知りました。

マイクロソフトは、ソーシャルメディアプラットフォーム上で人工知能チャットボット「Tay」をリリースした。同社はこれを「会話理解」の実験だと説明している。アイデアとしては、チャットボットが10代の少女になりすまし、機械学習と自然言語処理を組み合わせてTwitter経由で個人と対話するというものだ。マイクロソフトは、匿名化された公開データと何人かのコメディアンが事前に作成した素材をこのアプリに入力し、ソーシャル ネットワークでのやり取りから学習して成長させた。

その結果、チャットボットは16時間以内に95,000件以上のツイートを投稿し、それはすぐに露骨な人種差別、女性蔑視、反ユダヤ主義へと変化した。最終的に、マイクロソフトはサービスを停止することを選択しました。

この事件の後、マイクロソフトリサーチ＆インキュベーション担当副社長のピーター・リー氏は次のように述べた。

「Tayからの意図しない攻撃的で傷つけるツイートについて深くお詫び申し上げます。これらのツイートは当社の意見や立場を代表するものではなく、Tayを設計した当初の意図を代表するものでもありません。」

リー氏は、Tayの前身はマイクロソフトが2014年にリリースした「小冰（シャオビン）」だと指摘した。Tayがリリースされる前の2年間で、4000万人以上との会話に成功していた。マイクロソフトが考慮していなかったのは、TwitterユーザーのグループがすぐにTayに対して人種差別的、女性蔑視的なコメントを投稿し始めるということだった。ボットはこの素材をすぐに学習し、それを自身のツイートに組み込みます。

アマゾンのAI採用ツールは男性のみを推薦

多くの大企業と同様に、Amazon は人事部門が最適な候補者を選別するのに役立つツールを熱望していました。 2014年、Amazonはまさにそれを実現するためにAIを活用した採用ソフトウェアの開発を開始しました。しかし問題は、この制度が男性候補者を著しく優遇していることだ。 2018年にロイターが報道した後、アマゾンはこのプロジェクトを中止した。

アマゾンのシステムでは、候補者に1から5までの星評価を与えると報じられている。しかし、このシステムの中核をなす機械学習モデルは、アマゾンに提出された10年分の履歴書（そのほとんどは男性のもの）でトレーニングされた。このトレーニングデータの結果、システムは「女性」という単語を含む履歴書を不利に扱うようになり、女子大学からの応募者を格下げするようになった。

当時、アマゾンは、このツールはアマゾンの採用担当者が候補者を評価するために使用されたことは一度もないと述べていた。

同社はツールを中立に保つために調整しようとしたが、最終的に、ツールが差別的な候補者選考方法を学習しないことを保証できなかったため、プロジェクトを終了した。

ターゲットがプライバシー侵害を分析

2012年、小売大手ターゲットの分析プロジェクトは、企業が顧客データからどれだけ多くのことを学べるかを実証しました。ニューヨーク・タイムズ紙によると、2012年にターゲットのマーケティング部門は顧客が妊娠しているかどうかを判断する方法の研究を始めた。調査の結果、予測分析プロジェクトが実施され、小売業者が十代の少女の妊娠を彼女の家族にうっかり開示してしまう事態に陥った。

ターゲットのマーケティング部門は、人生のある時期、特に妊娠中は、人々の購買習慣が劇的に変化する可能性が高いため、妊娠中の個人を特定したいと考えていました。ターゲットがこの時期に顧客にリーチできれば、顧客の間に新たな行動を生み出し、食料品や衣料品、その他の商品を購入するためにターゲットを利用するよう促すことができます。

ターゲットは、他の大手小売業者と同様に、買い物客コード、クレジットカード、アンケートなどを通じて顧客に関するデータを収集している。そのデータは、購入した人口統計データやサードパーティのデータと混合されます。ターゲットの分析チームは、このすべてのデータを分析することで、顧客の「妊娠予測」スコアを判定できる。マーケティング部門は、クーポンやマーケティング メッセージを使用して、高得点の顧客をターゲットにすることができます。

さらに調査を進めると、クライアントの生殖状態を調べることは、一部のクライアントにとって不気味なことかもしれないことが示唆されている。同社はターゲットを絞ったマーケティング戦略を放棄する代わりに、妊婦が買わないとわかっている商品（芝刈り機の広告の隣におむつの広告）に広告を混ぜ、顧客にランダムに見えるようにしたとタイムズ紙は報じた。

オリジナルリンク: https://www.cio.com/article/190888/5-famous-analytics-and-ai-disasters.html