都市 AI アプリケーションの失敗事例: 善意の自治体 AI プロジェクトはなぜ失敗したのか?

編集者注: AI をどのように実装できるかを検討してきた私たちにとって、この Flint の事例は目を開かせてくれました。なぜなら、障害が多すぎるのは人間の本性であり、アイデンティティが異なればテクノロジーの位置づけもまったく異なるものになるからです。

技術者として、プロジェクトの結果とコストに責任を持つ必要があります。
政府職員としては、インフラコストと世論（米国では投票率を意味します）のバランスを取る必要があります。
居住者として、彼らは自分自身と家族の生活経験と安全を最優先します。

3人の間にも、そして同じアイデンティティを持つ異なるチーム間にも、さまざまな意見の相違があります。

そのため、AI技術は磨かれていない石のようなもので、彫刻の過程や環境から受ける力を確認することはできないため、最終的に実用的な斧になるのか、それとも単なる装飾品になるのかはわかりません。

しかし、唯一確かなことは、最終結果は当初の意図から逸脱することが多いということです。

物語

ミシガン州フリントの水問題が全国ニュースになってから1000日以上が経過したが、市内の何千もの住宅には未だに鉛の配管が残っており、有毒金属が配管を通じて住民の水道に浸透する可能性がある。

この問題を解決するには、政府は鉛管をより安全な銅管に交換する必要があります。

簡単に聞こえますが、どの家に鉛製の配管があるのかを判断するのは難しい場合があります。事態をさらに困難にしていたのは、市の記録管理が不完全かつ不正確だったため、すべてのパイプを掘り起こすには膨大な労力と資材が必要になるという事実だった。

明らかに、自動化の時代が到来しました。

コンピューター科学者たちは、Google の資金提供を受けて、鉛製の配管が使われている可能性が高い住宅を予測する機械学習モデルを設計しました。

AI技術は、有毒なパイプが存在する可能性が最も高いエリアのみを建設作業員が掘削するのを支援するはずだった。

結局、この計画は2017年まで機能し続けました。作業員は8,833軒の住宅を検査し、そのうち6,228軒の配管を交換したが、予測の正確率は70パーセントだった。

そこで、2018年に向けて、市は計画の実施を「加速」するために、国内大手エンジニアリング会社AECOMと500万ドルの契約を締結した。彼らは、フリント市へのこの「装甲部隊」の到着を告げる活発な地域集会も開催した。

これほど大規模なパイプライン交換プロジェクトに着手できる都市はほとんどなく、ましてや人種プロファイリング、環境差別、中西部北部の産業崩壊といった時代の課題に対処しなければならない都市であればなおさらだ。

（フリント市についての背景情報は次のとおりです。

ここは古くから自動車産業の町ですが、製造業が海外に移転するにつれ衰退し、工業発展の後遺症が徐々に現れてきました。水道システムは老朽化しており、鉛含有量が高く、川の水はひどく汚染されています。
さらに、フリントにはアフリカ系住民が多く住んでいたため、水危機はフリント地域における人種差別についての議論を巻き起こし、フリントの水危機がタイム誌の表紙を飾るなど、政府は問題に対処するためにさまざまな方法を採用しなければならなくなった。）

現在、フリント市内の計18,786世帯は、水道管を掘り起こして銅製であることが確認されており、水道管の安全性が分かっている。水道管に鉛や亜鉛メッキ鋼が含まれていれば、銅製に交換される。

「非常に順調に進んでいると思う」とフリント市長のカレン・ウィーバー氏は記者団に語った。「予定より1年早く、予算内で完了しました。」

しかし、2018年に奇妙なことが起こりました。

2018年に配管検査を受けた住宅が増えるにつれ、鉛管が見つかる件数は減少した。

その代わりに、2017年11月、地元ニュースメディアMLiveのザフラ・アフマド氏は、同メディアが入手した会議メモに基づき、市の公共事業局長がフリント市内の約1万戸の住宅にまだ鉛製の配管が残っていると推定しており、これは他の専門家の推定とほぼ同じ数だと報じた。

言い換えれば、新しい請負業者はパイプを時間内に発見できなかったのです。

2018年12月中旬時点で、1万531件の物件が調査されたが、そのうち鉛管の交換が必要な物件は1,567件のみだった。鉛管調査の正確さはわずか15％で、2017年より大幅に低下した。

もちろん、精度が低下するのには理由があります。

最大の理由は、AECOM が採掘を予測するために使用していた機械学習モデルを使用しなくなったことです。

一部住民からの政治的圧力に直面した市長は、築年数や建物の種類、その他の特徴に基づいて鉛管のある住宅を選別するのではなく、市内の隅々や特定の地区にあるすべての住宅を掘り起こすよう会社に要請した。

プロジェクト管理に数百万ドルを投資した後も、フリントの何千人もの人々は、以前の計画であれば発見され除去できたはずの鉛管のある家に今も住んでいます。

パイプ交換プログラムの成功率の低下は市の批評家の注目を集めている。

懸念する社会活動牧師と呼ばれる地域団体である天然資源保護協議会（NRDC）は、法廷で、フリント市は鉛管をできるだけ早く交換せよという裁判所命令から撤退しているようだと主張した。

鉛管のある家がまだ何千軒もあるのなら、なぜ当局は掘削作業を行っているのに、もっと多くの家を見つけられないのか？

「最も重要なのは、掘られた穴の数ではなく、取り除かれた鉛管の数だ」と社会行動のための憂慮牧師会のアレン・C・オーバートン氏はNRDCへの声明で述べた。

テクノロジーは確かに機能している

実際、このプロジェクトが頓挫する前、AIによる鉛管の除去は「ハイテクによって生活はどんどん良くなっている」と感じさせる物語として歓迎されていた。

2018年10月に開催されたGoogleのAI for Goodカンファレンスで、ジョージア工科大学のコンピューター科学者ジェイコブ・アバネシー氏は、ボランティアのチームが鉛管が最も多く使われている住宅を予測するシステムをどのように構築したかを説明した。

コンピューター科学者たちは、都市の主な問題は情報の問題であることを発見しました。

なぜなら、どの家に鉛の配管があるのか誰も確実に知らないからです。

市には、荷物の配達を記した何千枚もの古いカードや、長年にわたりシステムに記録された地図や更新情報など、さまざまな記録が保管されていますが…

しかし、カタログ作成システムはメンテナンス次第で良くなるため、フリントには数十年にわたってそうしたリソースが不足していました。

米国の自動車産業の中心地として、20世紀半ばまでゼネラルモーターズがさまざまな施設を建設し、約8万人の地域住民を雇用していた。

しかし、自動車産業におけるフリントの地位が衰えると、白人住民の大半は収入を持って郊外へ移住し、税金と資本の両方が市の中心部から遠ざかっていった。

これらの人々がより裕福なジェネシー郡でコミュニティを再構築するにつれ、フリントの住民は経済の変化に苦しみました。

予算削減、学校閉鎖、そしてポスト工業化時代によく見られる環境問題。

したがって、水危機が起こる前は、20 世紀初頭の水道局の記録の検討と照合は政府当局者にとって最優先事項ではありませんでした。

その後、住宅市場が崩壊（2008年の金融危機）した後、フリントは財政難に陥り、自治体の経費を削減するために、ミシガン州知事リック・スナイダーは「緊急」行政官を派遣して対策を講じなければならなかった。

ミシガン州公民権委員会のフリントに関する報告書によると、ミシガン州の黒人住民の半数は緊急管理者によって管理されている。

2014年4月、フリント市の緊急管理者は、適切な腐食防止対策を講じることなく、デトロイトの水供給を（ひどく汚染されていた）フリント川に切り替えるよう要請した。

そしてこれが問題の根本的な原因です。

問題を解決しようとして、技術専門家は多くの都市で鉛管や不完全な情報の問題があることを発見した。数十年前に構築されたインフラストラクチャの欠陥は、金属アプリケーションだけでなく、データカタログにも反映されています。

これらのデータだけが、市の政府と住民が水道システムの状態を理解するのに役立ちます。

スマートシティについてあれこれ言われる中、多くの古い都市部では「雨の日への備え」が何を意味するのか全く分かっていないというのが現実です。

この都市が好況と不況を経験して以来、人々は「アメリカは千のフリント石だ」と言ってきましたが、それは今でも真実です。

フリントには何千本もの鉛管があるように、米国にはそのようなパイプが 600 万本あります。

2016年3月にフリント市の鉛管を交換するファストスタートプログラムが開始されると、市の維持管理債務が再び浮上した。マイケル・マクダニエル将軍がこのプロジェクトのリーダーに選ばれ、彼の下では少数の人々が働いていました。

鉛管の配布に関して理解しておくべき基本的な常識は次のとおりです。

鉛管は、フリントの戦後の大規模な拡張時に建てられた住宅で最も多く見られ、新しい住宅で最も多く見られる。

そこで2016年2月、ミシガン大学フリント校のマーティン・カウフマン氏は市の記録を利用して鉛管の位置を示す地図を作成した。

マクダニエル氏のチームはそのデータを使い、住宅の築年数と環境品質局による水質汚染が最もひどい場所の大まかな推定に基づいて、初期の発掘作業の優先順位を決定した。

水中の鉛の影響を最も受けるのは誰でしょうか?

「乳児、高齢者、免疫力が低下している人」とマクダニエル氏は記者団に語った。彼らは、5歳未満の子供と70歳以上の高齢者がいる家庭を特定した。

これらの資料を組み合わせることで、どこから始めればよいか大まかにわかります。マクダニエルは10の小さな地域で600本の鉛管の交換を開始した。「これは市全体で何が効率的で何が公平かという問題だ」と彼は語った。

アバネシー氏とミシガン大学の協力者であるエリック・シュワルツ氏が2016年の夏にこの研究に取り組んだとき、彼らは不確実性の下での逐次的な意思決定という同様の予測問題に直面した。

スタッフは完全な情報を持っていないにもかかわらず、次の発掘現場に最適な解決策を見つける必要があります。各マイニングの結果をモデルにフィードバックすることで、モデルの精度を向上させることができます。

当初、データはほとんどありませんでした。

2016年3月時点で、水道管が掘り起こされたのはわずか36軒だった。

作業員たちは数百か所の発掘調査を開始すると同時に鉛管も探していたが、これは都市の代表的でないサンプルを作成することを意味していた。

これらのデータのみを使用すると、モデルはフリントの他の場所の鉛濃度を過大評価した可能性があります。

そこでミシガンチームはファストスタート社に、掘削機ではなく水流を使ってパイプを探す、より安価な「ハイドロバケーション」システムを使って市内の配管を検査するよう依頼した。

採掘されたデータはモデルにフィードバックされ、研究者は市内のさまざまな地域の鉛濃度をより正確に予測できるようになりました。

調査を進めるうちに、住宅に鉛管があるかどうかを決める最も重要な3つの要因は、住宅の築年数、価値、立地であることがわかった。

さらに、鉛管の位置を予測するモデルが非常に正確になったため、2017年までに請負業者は鉛管を見つける成功率が大幅に向上しました。

「2017年の最後の数か月で、私たちの精度は80％以上にまで上がりました」とマクダニエル氏は記者団に語った。

技術劣化の始まり

次に、2017年後半、フリント市は、プロジェクトの運営のために、このプロジェクトの米国の主要請負業者であるAECOMと500万ドルの契約を締結しました。

2018年2月、市はコミュニティフォーラムを開催しました。フリント市公共事業局長ロバート・ビンシック氏はフォーラムで、フリント市は前例のない取り組みを行っていると述べた。

「我々ほど積極的にこれを実行している人はいない」とビンシック氏は語った。「全体的に、私たちは素晴らしい仕事をしたと思います。」

AECOM は「年間 6,000 本の鉛配管を効果的に特定し、交換する」計画です。この目標は理にかなっています。なぜなら、2017 年に、この小規模で、ほとんどがボランティアの管理チームが 6,000 本以上の鉛管を特定し、交換したからです。

コミュニティ会議で説明されたように、請負業者のプロセスは 2 つのステップで構成されます。

まず、施工業者が計画した10箇所の計画を実施し、次に配管の性質を判定した上で鉛管や亜鉛メッキ鋼管を交換する。

ビンシック氏はハイドロバキュームに期待している。安価で効率的であり、パイプを損傷する可能性も低いからだ。

一方、ハイドロバキュームの費用はわずか 300 ドルですが、従来の方法でパイプを掘削して交換すると、数倍の 2,500 ドルから 5,000 ドルの費用がかかります。

しかし、AECOM チームはプロジェクトが始まる前から問題に直面していました。

2018年10月末、プロジェクトマネージャーのアラン・ウォン氏は記者団に対し、問題はマクダニエルチームとAECOMチーム間の移行期間中に始まったと語った。

ウォン氏のスタッフはマクダニエル氏の契約が切れた2017年10月から勤務を開始する予定だった。しかし、AECOM の契約は 2017 年 12 月 28 日まで締結されませんでした。チーム間の重複はありません。

「10月、11月、12月にうまく調整して移行できたはずだが、それができなかった」とウォン氏は語った。

さらに、AECOM はプロジェクトの中核となる予測モデルを考慮していないようです。

裁判所の声明によると、当初の話し合いは前向きに見えたが、その後、ミシガン大学のシュワルツ氏は2018年1月から5月の間にウォン氏に5通のメールを送ったが、いずれも返答がなかったという。

ウォン氏は記者団に対し、自社が保有しているのは写真のような都市の「ヒートマップ」だと語った。

しかしシュワルツ氏は、同団体が市内のあらゆる場所に鉛管が存在する可能性を記載したデータベースを提供していると述べた。

AECOM は、2016 年 6 月以来この問題が一度も解決されなかったかのように、本質的にこの問題に再度取り組んでいる。

そして、他の人たちが以前に発見したように、AECOM は、市が保有するデータは完全にデジタル化されておらず、完全に正確でもないことを発見しました。ウォン氏は、同社が無償でデジタル化作業を行ったが、これは1月に完了するはずだったが5月まで完了しなかったと述べた。

しかし、最大の問題は、ウィーバー市長がAECOMの掘削作業を市全体にわたって行うことを要求したことだ。

同氏は、市は「議員らに対し、なぜ彼らの地域で発掘調査が行われていないのかを説明したくない」と述べた。そこでAECOMは市内に10のゾーンを設定し、各ゾーンで600か所の掘削現場を請負業者に割り当てました。

彼らが抱えていた大きな問題は、鉛管が街中に均等に分布していなかったことだ。

既知の情報やツール（実際に発見された鉛管の数、ミシガン大学モデルによる予測、市の記録、建築史に関する知識など）を評価すると、鉛管は主に第 2 地区や第 10 地区などの周辺地域ではなく、第 5 地区などの CBD の旧市街地などの少数の地域に集中していることが明らかです。

さらに、政府は、ハイドロバキューム法では掘削機よりも小さな穴を開けることが多く、鉛の削りかすが目立ちにくくなることも発見した。

そこで市長はハイドロバキューム法をやめ、最も標準的な従来の方法を採用することに決めた。「住民は100％保証されており、それが私たちの価値です」とウィーバー氏は記者団に語った。

AECOM は鉛を特定する手段として市内全域でハイドロバキュームを行う予定だったが、今回の変更により同社の計画は危うくなっている。

市長は、プロジェクト管理者が鉛管が見つかる可能性があると考えたすべての地域のすべての家を発掘することを決定した。つまり、模型で鉛管がない可能性があると示された家は除外されないことを意味した。

「『隣の家は掘り返されたのに、自分の家は掘り返されなかった』と人々が言わないように、私たちはこうしているのです」とウィーバーさんは言う。

「この街は誰も置き去りにしたくない」とウォン氏は記者団に語った。

多くの無駄な努力

データの欠落がテクノロジーの有効性を妨げる理由になったことは一度もありません。

明らかに、このプロジェクトは主題から逸脱し、政治的な意味を持つようになり始めていた。

これにより、修復プロジェクトのコストが大幅に増加しただけでなく、市内に残っている鉛管を除去するプロジェクトのスピードにも影響が出始めている。

フリントの郊外では、広範囲の住宅の配管が発掘されましたが、以下の第 10 地区の東地区に示すように、鉛の痕跡は見つかりませんでした。青は銅管、赤は鉛管または亜鉛メッキ鋼管を表します。作業員らは地域の何百もの住宅からパイプを掘り出したが、鉛や亜鉛メッキ鋼で作られたものはなかった。

これは 2018 年のパイプライン掘削マップで、銅管は青、鉛管またはステンレス鋼管は赤で示されています。 3つの主要な地域では、請負業者が多数の家屋を発掘したが、鉛製のパイプはほとんど発見されなかった。

このプロジェクトのために、政府は、市内のあらゆる稼働中の水源を可能な限り集中的に活用するという新たな指令を出した。そうでなければ、住民は自分の家に鉛の配管が使われているのではないかと疑い続けることになるかもしれない。

プロジェクトマネージャーは人々に「コンピューターモデルを信頼しなければなりません」と言ったが、ウォン氏は「国民はそれを信じないだろう」と認めた。

上記のすべてが、AECOM の検出率が 2017 年のチームよりも低かった理由を合理的に説明しています。

マクダニエル氏は鉛濃度が最も高い現場で作業しており、彼のチームはモデルの予測に従っている。

AECOMと市はブロック沿いの各家屋を発掘した。

さらに、市内の鉛管の数は当初の推定よりも少ない。当初は、市内の2万～3万本のパイプが鉛または亜鉛メッキ鋼で作られていると推定されていたが、その数は多すぎることが判明した。

NRDCは、計画の実施方法をめぐって市を訴えている。合意の中心は鉛管の撤去だったが、その目的は今や台無しになっている。さらに、このような大規模かつ無差別な掘削のもう一つの結果は、鉛管が妥当な期間よりも長い間、住民の家屋に残されたままになっていることである。

シュワルツ氏は裁判所への提出書類の中で、市内にはまだ危険な配管のある住宅が4,964〜6,119軒あると推定した。

下の図の赤い部分は、AI研究者が危険な配管の設置の可能性が90％以上あると予測した場所を示しており、青い部分は鉛管や鋼管がある可能性が低い場所、黒い点はAECOMのチームが2018年11月に完了した作業を表しています。モデルがおおよそ正しい場合、ランダムチェックにより、プロジェクトはもはや水道管の交換が最も必要な地域での掘削作業を対象としていないことが示唆されます。

鉛を含む住宅の可能性の予測マップ：鉛管（赤）、銅管（青）、都市の掘削活動（黒）

「政府が掘削地域をどうやって選んだのか説明できないのは気がかりだ」とNRDCの弁護士ディンプル・チャウダリー氏は語った。「モデルは『ここに鉛がある』と予測するとともに、彼らが間違った場所を掘っていたことも示してくれました。」

注目すべき一例を挙げると、第 5 地区では鉛の濃度が最も高くなると予測されています。ミシガン大学のモデルでは、作業員がその地域で鉛を発見する確率は80パーセントであると推定されている。

しかし、2018年1月から8月まで、AECOMの請負業者がこの地域で行った掘削作業は最も少なく、市内の3,774件の掘削のうち、このエリアでの掘削はわずか163件でした。このうち鉛管は156カ所で見つかり、96％を占めた。

一方、同じ期間に2番目の地域では1,220軒の住宅が調査され、そのうち鉛管が見つかったのはわずか46軒で、正確率は4％だった。

AECOM は、シュワルツとアバネシーのモデルが鉛管の割合が高いと予測した地域で最大の発掘調査を実施し、その結果はモデルの予測を裏付けました。

一時的な終わり

請負業者に補助金を出している州政府は、この数字を受けてプロジェクトの管理方法に問題があるとして市への支払いを停止したと述べた。

司法省は「市は、鉛や亜鉛メッキ鋼の配管が見つかる可能性がある土地の発掘を優先するのをやめるという誤った政策決定をした」と述べた。

現在、フリント市、NRDC、州、AECOMは、2017年に使用された機械学習モデルを復活させる協議を行っている。 AECOM との契約は更新されましたが、モデルの再利用が含まれる可能性があります。

市当局は、この野心的かつ困難な計画を実行するために十分な努力をしたと考えている。

例えばウィーバー氏は、今回の決定が市の全住民の健康と安全を守るものだと主張した。一方AECOMは、最善を尽くしたと述べた。