データが増えるほど、AIの意思決定モデルは脆弱になる

データは、人工知能システムを構築するために必要な重要なインフラストラクチャです。データは、AI システムのパフォーマンス、公平性、堅牢性、セキュリティ、スケーラビリティを大きく左右します。

[[417836]]

では、十分なデータでトレーニングされた AI システムは正しい判断を下すことができるのでしょうか? 今年 5 月、Medium のブロガーである Marianne Bellotti が、「AI は間違った問題を解決している」というタイトルの記事を公開しました。記事の中で、著者は次のような見解を述べています。データ（情報）が増えても、人間が必ずしも「適切な判断」を下すとは限らないのに、なぜ AI のパフォーマンスが向上すると想定すべきなのでしょうか。

この点を裏付けるために、ブロガーは次のように書いている。

• 「現実の世界では、意思決定者はコストを節約するために最適化の決定を下すことがよくあります。しかし、決定は結果に基づいて判断され、正しい分析に基づいたちょっとした幸運が必要です。結果が出るまでは、優れたデータに裏付けられた最も慎重かつ徹底的に構築された戦略であっても、決定の絶対的な正しさを保証することはできません。」

明らかに、この見解が意味するのは、意思決定プロセスはデータの客観的な分析ではなく、リスクと優先順位を比較検討することであるということです。最後に、上記の観察に基づいて、著者は、データ駆動型 AI モデルは意思決定を行う際に非常に脆弱であると主張しています。

1. AIの方向性は偏っている

難しい問題に直面したとき、段階的に組織的に解決することは評価に値します。仮定は何ですか? 仮定はどのように構築されていますか? どのような問題を解決する必要がありますか? 仮定が異なれば、解決される問題も異なりますか? 解決したい問題と結果の間にはどのような関係がありますか? これらのサブ質問は、意思決定プロセスにとって非常に重要です。研究者たちは、より多くのデータへのアクセスが意思決定者がより良い決定を下すための鍵であると仮定し、システムに入力するデータが増えるほど、AIがより良い決定を下し、AIがもたらす悪影響が少なくなることを期待しています。この仮定の下では、完全な情報があれば意思決定プロセスが自動的に改善されるはずだと当然考えます。現実を考慮すると、この仮定は間違っています。意思決定プロセスは、意思決定者の背後にある政治によって決定されることが多いためです。たとえ完全な情報が利用可能であったとしても、ノイズ レベルが上昇することで意思決定の質が低下します。たとえば、AI はコンテンツを正しく識別できますが、そのコンテンツに基づいて行われる決定は、ユーザーや組織の規範や期待に大きく影響されます。たとえば、Facebook のレビュー ポリシーでは、特定の敏感な部分を「有名人」の体にフォトショップで加工することは許可されていますが、有名人の実際の敏感な部分を露出することは禁止されています。 Facebook の場合、利害関係者間の関係によってこの区別が合理的になる理由を人間が理解するのは簡単です。一方は言論の自由と公のコメントの規範に違反しますが、もう一方は違反しません。明らかに、チームが意思決定を行う際、さまざまな利害関係者とそのインセンティブを考慮すると、意思決定を改善する最善の方法は、より多くのデータを取得することではなく、利害関係者間のコミュニケーションを改善することです。これは、「AI の意思決定能力を向上させるために、国はデータのクリーニングとデータセンサーの強化に数十億ドルを費やす必要があるのか​​」という質問に対するより良い答えを提供します。結局のところ、米国国防総省は、データを何らかの形で処理する職員に年間110億～150億ドルを費やしている。数十年にわたる投資、規制、標準設定を経ても、私たちは基本的に、1970 年に「コンピューター化された脳」について語っていたときと何ら変わりません。しかし、コンピュータが進化するにつれて、人々はデータにますます執着するようになりました。

2. データ駆動型の脆弱性

データ品質に関する説明の仕方は誤解を招きます。私たちは、データが正確（かつ偏りがなく）かつ再利用可能である状態であるかのように「クリーン」なデータについて話します。実は、清潔さと正確さは異なり、正確さと操作性も異なります。どのような種類のデータに問題があっても、AI モデルの開発を妨げたり、AI モデルの意思決定に影響を与えたりする可能性があります。データが間違ってしまう原因はさまざまです。たとえば、物理的に正しくなかったり、破損していたり​​、形式が間違っていたりする場合があります。より微妙なエラーもあります。データが特定のコンテキストで取得されたが不適切に再利用されている、データが標準化されていないため同じことがさまざまな方法で表現されている、データがモデルに対して不適切な粒度レベルにあるなどです。上記の問題は、単一のデータ ソースのみを使用しても解決できません。攻撃者がモデルまたはシステムに「エラー」を挿入しようとすると、これらの問題を解決することはさらに不可能になります。 AI は新たな機会を生み出しますが、その脆弱性を無視することはできません。言い換えれば、AI は新しいソリューションをもたらす一方で、新しい攻撃方法も生み出します。例えば、ディープフェイクや衛星データの「位置情報偽装」など。これらの「有害な」テクノロジーは、「良い」テクノロジーと並行して進歩しています。現在の AI システムは、データの品質に完全に依存しています。テクノロジーは比較的成熟していますが、この設計は攻撃に対して非常に脆弱です。したがって、この場合、AI システムは不良データに対処できるほど柔軟に設計する必要があります。 AI を「アンチフラジャイル」にすることは、攻撃のリスクから防御する方法です。

3. アンチフラジャイル AI とは何ですか?

[[417837]]

システム思考において、「アンチフラジリティ」とは、障害から回復するだけでなく、障害に直面したときにさらに堅牢かつ効果的になる設計を指します。実際に意思決定を改善する要素に基づいて AI システムを構築することで、アンチフラジャイル AI の機会が生まれます。

認知科学の研究によると、適切な意思決定は、積極的に仮定を明確にし、その仮定を検証するための仮説検定を構築し、関係者間で明確なコミュニケーション チャネルを確立することで実現されます。ヒューマンエラーを引き起こす認知バイアスの多くは、上記の 3 つの領域の問題の結果です。たとえば、仮定を明確に表現しないと、ソリューションは不適切な環境条件に適用されます。また、仮定をテストしないと、変化する条件に応じて正しい決定を調整できません。 AI は、分類と認識における使用を過度に重視し、推奨とコンテキスト化における使用を過小評価しているため、不良データに対して脆弱です。しかし、意思決定 AI は破壊するのが非常に簡単です。アルゴリズム分析の結果を結論としてとらえることと、それを推奨事項としてとらえることの間には大きな違いがあるため、アンチフラジャイル AI の設計は困難です。エネルギーを節約するために、意思決定者は AI の出力を結論として採用する可能性が非常に高くなります。このような考え方は、刑事司法と警察活動において悲惨な誤りを招いてきました。では、なぜ AI が医療における意思決定の質を向上させることができるのでしょうか。それは、多くの診断には単一の正解がないからです。特定の症状は複数の病気に該当する可能性があり、どの病気にかかっているかは単なる確率の問題である可能性があります。臨床医は、考えられるすべての原因を網羅した意思決定ツリーを頭の中で構築し、患者に検査を受けさせて原因のいくつかを除外します。したがって、医療診断は、決定が収束するまで「仮説を定義し、それをテストし、考えられる原因のセットをさらに絞り込む」という循環的なプロセスです。このとき、AI 意思決定モデルの役割は、医師に可能性のある病気の種類を意思決定ツリーに含めるように促すことであり、そのため、データが貧弱であっても、患者の治療効果は向上します。この AI はすでに、医療専門家間のコミュニケーションや知識の共有を改善したり、重要な瞬間に患者から新しい関連情報を入手したりするために使用されています。

4. 意思決定にAIを活用するための適切なアプローチ

AI を最大限に活用する方法を決定する際、テクノロジー リーダーはまず、解決すべき問題をどのように定義するかを検討する必要があります。 AI が意思決定の改善を目的としているのであれば、AI は専門家を上回ろうとするのではなく、仮説テストにおいて意思決定者を導くべきです。 AI が専門家を上回ろうとする場合、受信するデータの品質に完全に依存するため、攻撃者が簡単に悪用できる一連の脆弱性が生じます。 AI の目標が最高のトップエキスパートになることではなく、意思決定の実践を強化しサポートすることである場合、AI は不良データに対して耐性があり、脆弱性に対する耐性を持つことができます。しかし、そのような AI は意思決定を行うことができません。むしろ、意思決定の背後にある前提を明確にし、その前提を他の利害関係者に伝え、その前提に関連する状況が大幅に変化したときに意思決定者に警告するのに役立ちます。要約すると、AI は意思決定者がどのような状態が可能か、またはどのような条件下でそれが可能かを判断するのに役立ちます。このようなソリューションは、不良データによって新たな弱点を生み出すのではなく、既存の弱点に対処することで、意思決定チームの全体的な能力を高めることができます。

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。