データが増えるほど、AIの意思決定モデルは脆弱になる

データは人工知能システムを構築するために必要な重要なインフラストラクチャです。データは、AI システムのパフォーマンス、公平性、堅牢性、セキュリティ、スケーラビリティを大きく左右します。

[[417902]]

では、十分なデータでトレーニングされた AI システムは正しい判断を下すことができるのでしょうか?今年5月、Mediumのブロガーであるマリアンヌ・ベロッティ氏が「AIは間違った問題を解決している」というタイトルの記事を公開した。記事の中で、著者は次のような見解を述べています。「データ（情報）が増えても、人間が必ずしも「適切な判断」を下すとは限らないのに、なぜ AI の方がパフォーマンスが良いと想定すべきなのか？」

この点を裏付けるために、ブロガーは次のように書いている。

「現実の世界では、意思決定者はコストを節約するために最適化の決定を下すことがよくあります。しかし、決定は結果に基づいて判断され、正しい分析に基づいたちょっとした幸運が必要です。結果が出るまでは、優れたデータに裏付けられた最も慎重かつ徹底的に構築された戦略であっても、決定の絶対的な正しさを保証することはできません。」

明らかに、この見解が意味するのは、意思決定プロセスはデータの客観的な分析ではなく、リスクと優先順位を比較検討することであるということです。

最後に、上記の観察に基づいて、著者は、データ駆動型 AI モデルは意思決定を行う際に非常に脆弱であると主張しています。

AIは間違った方向に進んでいる

難しい問題に直面したとき、段階的に組織的に解決することは評価に値します。仮定は何ですか?仮定はどのように構築されるのでしょうか?解決すべき問題ですか?これらの仮定が異なっていたら、解決される問題は異なるでしょうか?解決したい問題と結果の間にはどのような関係がありますか?上記のサブ質問は意思決定プロセスにとって非常に重要です。

研究者たちは、より多くのデータへのアクセスが意思決定者がより良い決定を下すための鍵であると仮定し、システムに入力するデータが増えるほど、AIがより良い決定を下し、AIがもたらす悪影響が少なくなることを期待しています。

この仮定の下では、完全な情報があれば意思決定プロセスが自動的に改善されるはずだと当然考えます。現実を考慮すると、この仮定は間違っています。

たとえば、AI はコンテンツを正しく識別できますが、そのコンテンツに基づいて行われる決定は、ユーザーや組織の規範や期待に大きく影響されます。

明らかに、チームが意思決定を行う際、さまざまな利害関係者とそのインセンティブを考慮すると、意思決定を改善する最善の方法は、より多くのデータを取得することではなく、利害関係者間のコミュニケーションを改善することです。

これにより、「AI の意思決定能力を向上させるために、国家レベルでデータをクリーニングし、データ センサーを強化するには数十億ドルの費用がかかるのか」という質問に対するより良い答えが得られます。

結局のところ、米国国防総省は、データを何らかの形で処理する職員に年間110億～150億ドルを費やしている。数十年にわたる投資、規制、標準設定を経ても、私たちは本質的には「コンピューター化された脳」について語っていた 1970 年と何ら変わりません。しかし、コンピュータが進化するにつれて、人々はデータにますます執着するようになりました。

データ駆動型の脆弱性

データ品質に関する説明の仕方は誤解を招きます。私たちは、データが正確（かつ偏りがなく）かつ再利用可能である状態であるかのように「クリーン」なデータについて話します。実は、清潔さと正確さは異なり、正確さと操作性も異なります。問題のあるデータの種類に関係なく、AI モデルの開発を妨げたり、AI モデルの意思決定に影響を与えたりする可能性があります。

データが間違ってしまう原因はさまざまです。たとえば、物理的に正しくなかったり、破損していたり​​、形式が間違っていたりする場合があります。より微妙なエラーもあります。データが特定のコンテキストでキャプチャされているが不適切に再利用されている、データが標準化されていないため同じことがさまざまな方法で表現されている、データがモデルに対して不適切な粒度レベルにあるなどです...

上記の問題は、単一のデータ ソースのみを使用しても解決できません。攻撃者がモデルまたはシステムに「エラー」を挿入しようとすると、これらの問題を解決することはさらに不可能になります。

AI は新たな機会を生み出しますが、その脆弱性を無視することはできません。言い換えれば、AI は新しいソリューションをもたらす一方で、新しい攻撃方法も生み出します。例えば、ディープフェイクや衛星データの「位置情報偽装」など。これらの「有害な」テクノロジーは、「良い」テクノロジーと並行して進歩しています。

現在の AI システムはデータの品質に完全に依存しており、テクノロジーは比較的成熟しているものの、この設計は攻撃に対して非常に脆弱です。したがって、この場合、AI システムは柔軟性があり、不良データに対処できるように設計する必要があります。 AI を「アンチフラジャイル」にすることは、攻撃のリスクから防御する方法です。

アンチフラジャイル AI とは何ですか?

[[417903]]

システム思考において、 「アンチフラジリティ」とは、失敗から回復するだけでなく、失敗に直面してもより強力かつ効果的になる設計を指します。実際に意思決定を改善する要素に基づいて AI システムを構築することで、アンチフラジャイル AI の機会が生まれます。

認知科学の研究によると、適切な意思決定は、積極的に仮定を明確にし、その仮定を検証するための仮説検定を構築し、関係者間で明確なコミュニケーション チャネルを確立することで実現されます。

ヒューマンエラーを引き起こす認知バイアスの多くは、上記の 3 つの領域の問題の結果です。たとえば、仮定を明確に表現しないと、ソリューションが不適切な環境条件に適用されます。また、仮定をテストしないと、変化する条件に応じて正しい決定を調整できません。

AI は、分類と識別における使用を過度に重視し、推奨とコンテキスト化における使用を過小評価しているため、不良データに対して脆弱です。しかし、意思決定を行う AI は非常に簡単に妨害されてしまいます。

アルゴリズム分析の結果を結論としてとらえることと、それを推奨事項としてとらえることの間には大きな違いがあるため、アンチフラジャイル AI の設計は困難です。エネルギーを節約するために、意思決定者は AI の出力を結論として採用する可能性が非常に高くなります。このような考え方は、刑事司法と警察活動において悲惨な誤りを招いてきました。

では、なぜ AI は医療における意思決定を改善できるのでしょうか?多くの診断には、正解がひとつだけというわけではありません。ある症状が複数の病気に該当する場合もあり、どの病気にかかっているかは単なる確率の問題である場合もあります。臨床医は、考えられるすべての原因を網羅した意思決定ツリーを頭の中で構築し、患者に検査を受けさせて原因のいくつかを除外します。したがって、医療診断は、決定が収束するまで「仮説を定義し、それをテストし、考えられる原因のセットをさらに絞り込む」という循環的なプロセスです。

この時点で、AI 意思決定モデルの役割は、可能性のある病気の種類を意思決定ツリーに含めるように医師に促すことであり、そのため、データが不十分であっても、患者の治療結果が改善されます。この AI はすでに、医療専門家間のコミュニケーションや知識の共有を改善したり、重要な瞬間に患者から新しい関連情報を入手したりするために使用されています。

意思決定にAIを活用するための適切なアプローチ

AI を最大限に活用する方法を決定する際、テクノロジー リーダーはまず、解決すべき問題をどのように定義するかを検討する必要があります。 AI が意思決定の改善を目的としているのであれば、AI は専門家を上回ろうとするのではなく、仮説テストにおいて意思決定者を導くべきです。

AI が専門家を上回ろうとする場合、受信するデータの品質に完全に依存するため、攻撃者が簡単に悪用できる一連の脆弱性が生じます。

AI の目標が最高のトップエキスパートになることではなく、意思決定の実践を強化しサポートすることである場合、AI は不良データに対して耐性があり、脆弱性に対する耐性を持つことができます。

しかし、そのような AI は意思決定を行うことができません。むしろ、意思決定の背後にある前提を明確にし、その前提を他の利害関係者に伝え、その前提に関連する状況が大幅に変化したときに意思決定者に警告するのに役立ちます。

要約すると、AI は意思決定者がどのような状態が可能か、またはどのような条件下でそれが可能かを判断するのに役立ちます。このようなソリューションは、不良データによって新たな弱点を生み出すのではなく、既存の弱点に対処することで、意思決定チームの全体的な能力を高めることができます。