分析と AI で注意すべき 7 つの致命的な間違い

2017年、『エコノミスト』誌は、データが石油を上回り、世界で最も価値のある資源になったと宣言しました。この主張はそれ以来ずっと繰り返されている。あらゆる業界の企業は、これまでもデータと分析に多額の投資を行ってきましたし、今後もそうし続けるでしょう。しかし、石油と同様に、データと分析の世界にも暗い側面があります。

2022 年の CIO の現状レポートによると、IT リーダーの 35% が、データとビジネス分析の分野が今年、自社の最大の IT 投資を推進すると述べています。 IT リーダーの 20% は、機械学習/AI が組織による最大の IT 投資を推進すると述べています。機械学習アルゴリズムと分析作業から得られる洞察によって推進されるビジネスイニシアチブは、企業に競争上の優位性をもたらしますが、いくつかのミスは評判、収益、さらには人命の面で大きな損失をもたらす可能性があります。

データとそれに含まれる情報を理解するだけでなく、使用するツールを理解し、データを理解し、自社の価値観を念頭に置くことが重要です。

ここでは、どこで問題が発生する可能性があるかを示すために、過去 10 年間の分析と AI における注目の失敗をいくつか紹介します。

人工知能アルゴリズムはコロナウイルス以外すべてを認識できる

COVID-19パンデミックが始まって以来、多くの企業が機械学習アルゴリズムを利用して、病院がより迅速に患者を診断したりトリアージしたりできるように支援しようとしてきた。しかし、英国の国立データサイエンス・人工知能センターであるチューリング研究所によれば、予測ツールはほとんど影響を与えていないという。

MIT Technology Review は多くの失敗を記録していますが、そのほとんどはツールのトレーニングやテストの方法におけるエラーに起因しています。誤ってラベル付けされたデータの使用や不明なソースからのデータの使用は、問題の一般的な原因です。

ケンブリッジ大学の機械学習研究者デレク・ドリッグス氏とその同僚は、ウイルスの診断にディープラーニングモデルを使用する方法を検討した論文をネイチャー・マシン・インテリジェンス誌に発表した。この論文では、この技術は臨床使用には適していないと明確に述べられています。たとえば、ドリッグス氏のチームは、横になっている患者と立っている患者のスキャンを含むデータセットでトレーニングされたため、独自のモデルに欠陥があることを発見しました。横たわっている患者は重症化する可能性が高いため、アルゴリズムはスキャン画像における患者の体位に基づいてCOVID-19のリスクを識別することを学習した。

同様の例としては、健康な子供の胸部スキャンを含むデータセットでトレーニングされたアルゴリズムがあります。アルゴリズムは子供を識別する方法を学習したが、高リスク患者を識別する方法は学習しなかった。

Zillow、住宅購入アルゴリズムの致命的なエラーで数百万ドルの損失を出し従業員を解雇

2021年11月、オンライン不動産会社Zillowは株主に対し、今後数四半期でZillow Offers事業を終了し、社内従業員の25％（約2,000人）を解雇すると発表しました。不動産転売会社の苦境は、住宅価格を予測するために使用していた機械学習アルゴリズムのエラー率によって引き起こされた。

Zillow Offers は、同社が「Zestimate 不動産評価ソフトウェア」の機械学習アルゴリズムによって導き出された住宅の価値に基づいて、不動産に対して現金オファーを行うプログラムです。これらの物件を改装してすぐに販売することが目的です。しかし、ジロウの広報担当者はCNNに対し、アルゴリズムの平均エラー率は1.9％で、未掲載の住宅のエラー率はさらに高くなり、6.9％に達する可能性があると語った。

CNNは、Zillowが2018年4月にZillow Offersを開始して以来、同サービスを通じて2万7000戸の住宅を購入したが、2021年9月末までに販売されたのは1万7000戸に過ぎないと報じた。 COVID-19パンデミックや住宅改修における労働力不足などのブラックスワンイベントも、アルゴリズムの精度に問題を引き起こしている。

ジローは、アルゴリズムのせいで、同社が誤って現在の予想販売価格よりも高い価格で住宅を購入してしまい、2021年第3四半期に在庫で3億400万ドルの評価損を計上したと述べた。

ジロウの共同創業者兼CEOリッチ・バートン氏は発表後の投資家との電話会議で、アルゴリズムはおそらく調整できるだろうが、結局のところリスクが大きすぎると語った。

英国、スプレッドシートのデータ制限超過でコロナウイルス感染者数千人を失う

2020年10月、新型コロナウイルス感染症の新規症例の集計を担当する英国政府機関、イングランド公衆衛生局（PHE）は、9月25日から10月2日の間に約1万6000件のコロナウイルス症例が報告されていなかったことを明らかにした。原因は? Microsoft Excel スプレッドシートのデータ制限です。

イングランド公衆衛生局は、自動化されたプロセスを使用して、COVID-19 の陽性検査結果を CSV ファイルとして Excel テンプレートに転送し、レポートダッシュボードや接触者追跡に使用しています。残念ながら、Excel スプレッドシートでは、ワークシートごとに最大 1,048,576 行と 16,384 列までしか許可されません。さらに、イングランド公衆衛生局は感染症を行ではなく列でリストアップしています。ケースが 16,384 列の制限を超えると、Excel スプレッドシートは下位 15,841 件のレコードを切り捨てます。

この「不具合」は、ウイルス検査を受けて結果を受け取る個人には影響しなかったが、接触者追跡の取り組みを妨げ、英国国民保健サービス（NHS）がウイルス感染者と濃厚接触した個人を見つけて通知することをより困難にした。イングランド公衆衛生局（PHE）の暫定最高責任者マイケル・ブロディ氏は10月4日の声明で、NHSの検査追跡ユニットとイングランド公衆衛生局が問題を迅速に解決し、未解決の症例はすべてNHSの検査追跡ユニットの接触者追跡システムに直ちに移管されたと述べた。

イングランド公衆衛生局は「迅速な緩和策」を実施し、大きなファイルを分割し、将来同様の事件が起きないように全システムの包括的なエンドツーエンドの見直しを実施した。

医療アルゴリズムが黒人患者を識別できない

2019年にサイエンス誌に掲載された研究によると、米国全土の病院や保険会社は医療予測アルゴリズムを使用して「高リスクケア管理」プログラムへの登録が必要な患者を特定したが、そのアルゴリズムが黒人患者を特に特定する可能性は低いことが示された。

高リスクケア管理プログラムでは、慢性疾患患者に訓練を受けた介護者とプライマリケアモニタリングを提供し、深刻な合併症を予防します。しかし、アルゴリズムは黒人患者よりも白人患者にそれらのアイテムを推奨する可能性が高かった。

調査により、アルゴリズムは医療費を、医療サービスが必要かどうかを判断する基準として使用していることが判明した。しかし、サイエンティフィック・アメリカンによると、より重症の黒人患者の医療費はより健康な白人の医療費と同程度であり、黒人患者の医療ニーズは高いにもかかわらず、リスクスコアは低いことを意味している。

研究者らは、いくつかの要因が関係している可能性があると述べている。まず、有色人種は収入が低い傾向があり、そのため保険に加入していても医療を受けられる可能性が低くなる可能性がある。暗黙の偏見により、有色人種が低品質の医療を受けられる可能性もある。

研究ではアルゴリズムやその開発者の名前は明かされていないが、研究者らはサイエンティフィック・アメリカンに対し、開発者と協力して問題解決に取り組んでいると語った。

データセットで訓練されたマイクロソフトのチャットボットが人種差別的なツイートを投稿

2016 年 3 月、マイクロソフトは、Twitter プラットフォーム上のコミュニケーションを機械学習アルゴリズムのトレーニング データとして使用すると、期待外れの結果が生じる可能性があることを知りました。

マイクロソフトはソーシャルメディアプラットフォーム上でTayと呼ばれる人工知能チャットボットを立ち上げた。マイクロソフトはこれを「会話理解」の実験と呼んでいる。アイデアとしては、チャットボットが10代の少女のように動作し、機械学習と自然言語処理を組み合わせてTwitterプラットフォームを通じて他のユーザーとコミュニケーションをとるというものだ。マイクロソフトはボットに匿名の公開データとコメディアンが事前に作成した素材を与え、ソーシャルネットワーク上でのやり取りを通じてボットが学習し、成長できるようにした。

16時間で、チャットボットは95,000件以上のツイートを投稿したが、それらはすぐに露骨な人種差別、女性蔑視、反ユダヤ主義的なものになった。マイクロソフトはすぐにサービスを停止して調整を行い、最終的にサービスを中止しました。

「Tayの意図しない攻撃的で人を傷つけるツイートについて深くお詫び申し上げます。これらのツイートは、当社の存在や理念、ボットの設計方法を反映したものではありません」と、マイクロソフトリサーチ＆インキュベーション担当コーポレートバイスプレジデント（当時はマイクロソフト医療部門担当コーポレートバイスプレジデント）のピーター・リー氏は、この事件を受けてマイクロソフトの公式ブログに投稿した。

リー氏は、マイクロソフトが2014年に中国でTayの前身であるXiaoiceをリリースし、XiaoiceはTayリリース前の2年間で4000万人以上の人々との会話に成功していたと指摘した。マイクロソフトが予想していなかったのは、Twitter ユーザーのグループが即座に Tay に対して人種差別的、女性蔑視的なコメントを投じ始めるということだった。ボットはこの素材をすぐに学習し、それを自身のツイートに組み込みます。

「我々はシステムのさまざまな悪用に備えていたが、今回の違反行為に関しては重大な過失があった。その結果、テイは極めて不適切で非難されるべき言葉や画像をツイートした」とリー氏は書いている。

アマゾンのAI採用ツールは男性のみを推薦

多くの大企業と同様に、Amazon は人事部門が求人応募書類を精査して最適な候補者を見つけるのに役立つツールを熱望していました。 2014年、Amazonはこの問題を解決するためにAI採用ソフトウェアの開発を開始しました。しかし、一つだけ問題がありました。この制度は男性の応募者を非常に優遇していたのです。 2018年にロイターはアマゾンがこのプロジェクトを中止したと報じた。

Amazon のシステムでは、求職者に 1 から 5 までの星評価が与えられます。しかし、このシステムの中核をなす機械学習モデルは、アマゾンに提出された10年分の履歴書（ほとんどが男性のもの）でトレーニングされた。このトレーニングデータに基づいて、システムは「女性」という単語を含む履歴書を不利に扱い、女子大学に通った応募者には低いスコアを与えることになる。

当時、アマゾンは、採用担当者が求職者の評価にこのツールを使ったことは一度もないと述べていた。

アマゾンは公平性を保つためにツールの修正を試みたが、最終的には、応募者を審査するための他の差別的な方法を学習しないことを保証できないと結論付け、プロジェクトを終了した。

ターゲットの分析作業はプライバシーを侵害している

2012年、小売大手ターゲットの分析プロジェクトでは、企業がデータから顧客についてどれだけ多くのことを学べるかが示されました。ニューヨーク・タイムズ紙によると、2002年にターゲットのマーチャンダイジング部門は、顧客が妊娠しているかどうかを見分ける方法を検討し始めた。その考えから予測分析プロジェクトが立ち上げられ、その結果、同社はうっかりして10代の少女の妊娠を彼女の家族に明かしてしまうこととなった。その結果、さまざまな記事やマーケティングブログで、この事件を「恐ろしい状況」を避けるための提案として引用することになった。

ターゲットのマーケティング部門は、人生のある時期（特に妊娠）には人々の購買習慣が大きく変わる可能性が高いため、妊娠中の顧客を特定したいと考えていました。たとえば、ターゲットがこの期間中にこれらの顧客にリーチできれば、これらの顧客の新しいショッピング行動を育み、食料品、衣料品、その他の商品を購入するためにターゲットに来てもらうことができます。

他の大手小売業者と同様に、ターゲットは長年にわたり、買い物客コード、クレジットカード、アンケートなどを通じて顧客に関するデータを収集してきた。このデータは、購入した人口統計データやサードパーティのデータと組み合わせられます。ターゲットの分析チームは、そのすべてのデータを分析した結果、同社が販売する約25種類の商品を総合的に分析することで、「妊娠予測」スコアを生成できると判断した。マーケティング部門は、クーポンやマーケティング メッセージを使用して、高得点の顧客をターゲットにすることができます。

さらに調査を進めると、顧客の生殖能力の状態を調査することは、顧客の一部にとって恐ろしいことである可能性があることが判明した。同社はターゲットを絞ったマーケティング活動を放棄したわけではないが、妊婦が買わないであろうとわかっている商品の広告（おむつの広告の隣に芝刈り機の広告を表示するなど）を混ぜて、ランダムに見えるようにし始めたとニューヨーク・タイムズ紙は報じている。