AIによる自動思考の隠れたコストについて

[[273454]]

多くの薬と同様に、精神を明晰に保つために特に使用される薬であるモダフィニルには、パッケージの中に小さな折り畳まれた説明書が同梱されており、主に使用方法や注意事項、薬の分子構造などが記載されています。向精神薬は基本的にこのパターンに従います。しかし、説明書の「作用機序」のセクションには、少しわかりにくい小さな文字で書かれた一文があります。「モダフィニルが人の心を明晰にするメカニズムはまだ明らかになっていません。」

このような状況は実際には珍しいことではありません。規制当局に承認され広く使用されている薬剤は数多くありますが、その作用機序は厳密に証明されていません。医薬品の発見の過程では、研究者はしばしばこの謎を解明するために試行錯誤を繰り返す必要があります。たとえば、毎年、数多くの新薬が培養細胞や個々の動物でテストされ、最も効果的かつ安全なものが人体実験に進みます。場合によっては、薬の成功が新たな追跡研究を刺激し、最終的に薬の作用機序についてより多くのことを教えてくれることもあります。

しかし、他の場合には、パズルは決して解けないようです。アスピリンは1897年に発見されましたが、その効能のメカニズムについて納得のいく説明が見つかったのは1995年になってからでした。同様の現象は医学の分野でも見られる。パーキンソン病などの特定の運動障害を持つ患者の脳に療法士が電極を埋め込む技術である深部脳刺激療法は、20年以上にわたって広く使用されている。この技術は、一般的な認知能力の向上など、他の目的にも使用できると考える人もいるが、具体的にどのように機能するかは誰も確信していない。

医薬品の発見に対するこの「まず答え、後で説明」というアプローチは、私が「知的負債」と呼ぶ新たな問題を引き起こします。具体的には、治療法がどう機能するかを正確に知らなくても治療法を発見し、その後、洞察力を使って根本的なメカニズムについて仮説を立て、最終的に正しい結論を計算する可能性があります。場合によっては、この知識負債をすぐに返済することができますが、時には何十年もの苦痛を伴う探索が必要になることもあり、その間、私たちはこの未解決の知識に頼り続けることしかできません。

これまで、知識負債への取り組みは、繰り返し実験を行うことができる特定の分野、特に医学に限定されていました。しかし、状況は変化しており、人工知能、特に機械学習などの新興技術の台頭により、私たちの全体的な知識レベルは急速に向上しています。

機械学習システムは膨大な量の情報からデータパターンを抽出でき、これらのパターンはより漠然とした未解決の質問に対する答えを見つけるのに役立ちます。ラベル付きの猫の写真と猫が写っていない写真を使ってニューラル ネットワーク モデルをトレーニングすると、猫と他の動物を区別できるようになります。また、医療記録を使ってモデルをトレーニングすると、入院患者の死亡の可能性を予測できるようになります。しかし、ほとんどの機械学習システムは因果関係のメカニズムを発見することができず、むしろ統計的相関関係のエンジンのようなものです。これらのシステムでは、特定の患者が実際に「考える」能力がなく、質問に答える能力しかないため、なぜ彼らの死亡率が高いと考えるのかを説明できません。このようなシステムから得た洞察を日常生活に取り入れていくと、私たちの知的負債が急速に増大し始めることがわかります。

理論に基づかない新薬発見の進歩は、場合によっては知的負債が正当であり、さらには必要な移行産物であることを示しています。基本的な作用機序はまだ説明できませんが、これらの成果により何百万人もの命が救われ、私たちの生活はより良くなりました。命を救う薬の効き目が分からないという理由で、その薬の服用を拒否する人はほとんどいません。アスピリンを服用する時でさえ、人々はこのことを心配しません。

しかし、知識負債の蓄積には欠点もあることを認めなければなりません。作用機序が不明な多数の薬剤が絡み合うと、互いの悪影響を調べるための検査が飛躍的に増加し始めます。 （薬がどのように作用するかを理解すれば、これらの悪影響を事前に予測することができます。）

そのため、実際には、一部の新薬は市場に投入された後に既存の薬と相互作用を起こし、両社が訴訟に巻き込まれ、最終的にその薬が市場から撤退することになります。理解の観点から、ケースバイケースで新薬に関する知識を蓄積し、知識負債の問題を徐々に解決する必要があります。しかし、知識負債は孤立して存在するわけではありません。第一原理の閾値を超えなければ、さまざまな分野で発見され適用された答えが、予測できない方法で想像を絶する複雑さをもたらす可能性があります。

機械学習を通じて生み出される知識負債は、旧式の試行錯誤による同様の負債よりもはるかにリスクが高いです。これは、ほとんどの機械学習モデルが現在の判断の根拠を提供できないため、モデルが提供する回答を独自に判断しなければ、どのユースケースで間違いが発生するかを知ることができないためです。厳密に訓練されたシステムではこのようなエラーは非常にまれですが、システムの判断プロセスを明確に理解する必要があります。そうしないと、悪意のある人がさまざまな方法で故意にエラーを引き起こし、深刻な悪影響をもたらすことになります。

画像認識のシナリオを考えてみましょう。 10 年前、コンピューターは写真に写っている物体を認識するのが一般的に困難でした。今日、画像検索エンジンは、私たちが日常的に使用する多くのシステムと同様に、非常に強力な機械学習モデルに基づいています。 Google の画像検索サービスは、Inception と呼ばれるニューラル ネットワークに依存しています。 2017年、MITのLabSix（学部生と大学院生で構成された研究チーム）は、子猫の写真のピクセルを改ざんすることに成功しました。人間の認識では依然として猫のように見えましたが、インセプションは99.99％の確率でそれがアボカドの写真であると信じていました。 (計算に基づいて、Inception は次に可能性が高い結果はブロッコリーとモルタルであると考えています。) これは、前述の問題に戻ります。つまり、機械学習システムが画像判断を行うためにどのような特徴に依存しているかを説明できない場合、誰かが特別に細工されたデータや改ざんされたデータを提供した場合、システムがいつ間違いを犯すかを簡単に予測することはできません。このようなシステムには未知の精度ギャップが存在する可能性があり、賢く断固とした攻撃者がそれを悪用する機会が間違いなく残されることになります。

機械学習システムによって生成された知識が使用されるにつれて、このギャップはますます重要になります。これまでに訓練されたヘルスケア AI は、皮膚病変を良性か悪性かに分類することができます。しかし、ハーバード大学医学部とMITの研究チームが今年発表した論文では、研究者らは、そのようなAIも騙される可能性があることを発見した。基本的な状況は、前述の子猫がアボカドに変身するケースと似ている。 (攻撃者はこれらの脆弱性を利用して多額の保険金請求を行うこともできます。) AI の予測力のために、私たちは急いで AI を人間の医師の代わりとして受け入れるかもしれませんが、AI モデルは乗っ取られる危険性があり、AI が生成した回答を検証する簡単な方法がないことを認めなければなりません。

知識負債のバランスシートを作成し、それを使用して理論的な知識がどこでどのシステムで使用されているかを追跡することはできますか? 予備的な統計の後、さまざまな知識負債によって引き起こされる潜在的な影響も異なることがわかりました。 AI によって生成されたまったく新しいピザのレシピであれば、それを味わうだけで、潜在的な影響は無視できます。しかし、対照的に、AI によって提案された健康予測や治療の推奨を採用するつもりであれば、より完全な情報が間違いなく必要です。

人類社会全体を網羅するこの知識負債リストを確立し、維持するためには、まず、企業秘密やその他の知的成果を扱うためにもともと使用されていた関連方法を改善する必要があるかもしれません。都市では、建築基準法により住宅所有者に改修計画の報告が義務付けられています。同様に、研究機関や大学には、実際に使用されている非公開のデータセットやアルゴリズムの開示を義務付ける必要があるかもしれません。これにより、研究者は私たちが頼りにしているモデルと基礎データを調査し、深刻なエラーや脆弱性につながる前にこの知識負債を修正するための理論を構築できるようになります。

機械学習モデルはますます一般的になり、誰でも独自の機械学習モデルを作成できるようになり、統計レビューがますます困難になっています。しかし、それは依然として重要です。なぜなら、孤立したシステムは有用な結果を生み出すことができますが、孤立して存在しているわけではないからです。AI テクノロジーは現実世界からデータを収集して抽出すると同時に、独自のデータも生成し、それらの結論のほとんどは他のシステムへの入力として機能します。薬物が未知のメカニズムで相互作用する可能性があるのと同様に、債務負担アルゴリズムも同様の課題に直面することになるだろう。

さらに、最も単純なやり取りでもトラブルにつながる可能性があります。 2011年、マイケル・アイゼンという生物学者が、学生の一人から興味深い事例を発見した。目立たない古い本『ハエの誕生：動物デザインの遺伝学』のアマゾンでの最低希望価格は170万ドルで、送料は3.99ドルもかかっていたのだ。 2番目に安い価格はすぐに210万ドルに上昇しました。これら 2 つの販売者はどちらも Amazon で定評のあるストアであり、ストア内で非常に肯定的なレビューを獲得しています。アイゼン氏が数日連続してその本のページを訪問したところ、価格が上昇しており、一定のパターンに従っているようだということがわかった。販売者 A の価格は常に販売者 B の価格の 99.83% でしたが、2 日目には販売者 B の価格は前日の販売者 A の価格の 127.059% に引き上げられます。アイゼン氏は、販売者Aが本当にその本を所有しており、長期間にわたってアマゾンで最低価格を維持するつもりであると推測した。同時に、販売者 B は本を持っていないので、価格を高く設定します。こうすることで、誰かが本を購入した場合、販売者 B は「仲介人」として機能し、販売者 A から直接製品を購入できるようになります。

両方の販売者の想定される戦略は完全に合理的でしたが、彼らが採用したアルゴリズムが相互に作用して非論理的な結果を生み出しました。同様に、実際に何千もの機械学習システムを実行すると、必然的に予測不可能な結果がもたらされることになります。最先端の機械学習システムが大規模に導入されている金融市場は、こうした種類の問題が発生する理想的な環境となっています。 2010年、アルゴリズム取引によって引き起こされた「フラッシュクラッシュ」により、わずか36分間で米国の主要経済指標から1兆ドル以上の資産が消失した。昨年秋、JPモルガンのアナリスト、マルコ・コラノビッチ氏は、自動化システムに基づく取引が増えているため、このような崩壊が再び起こる可能性が高いと主張した。知識負債はこれらのシステム間で衝突して蓄積される可能性があり、直接相互作用しないシステムにも影響を及ぼす可能性があります。貸借対照表に似たシステムがなければ、知識負債を負う価値があるかどうか、またどれだけの知識負債を負えるかを判断することはおろか、出来事の因果関係を予測したり追跡したりすることもできません。

知的負債の増加は、基礎科学や応用技術に対する私たちの考え方を変える可能性もあります。政府機関が多額の費用をかけて建設し、学術研究機関が運営する粒子加速器などのプロジェクトとは異なり、機械学習ツールは民間企業や学術組織全体に急速に普及する可能性があります。実際、Google と Facebook は、どのコンピューター サイエンス部門や政府の統計部門でも得られると期待できるよりもはるかに多くの予測データを保有しています。ビジネスマンの観点から見ると、この知識が説明できるかどうかは問題ではないようですが、客観的に見ると知識負債は依然として急速に蓄積されることになります。最終的に、この問題は、これらすべてを解決することに真に興味を持っている学術研究者ではなく、産業界の手に渡ることになるだろう。

機械学習から得られる知識が増えることで、（手作業でプロジェクトをゆっくりと進めるのではなく）AI 技術を使用する意思のある研究者への資金の流れも増加すると考えられます。昨年12月、タンパク質の折り畳みを研究する研究者、モハメッド・アルクライシ氏は、人間の研究者よりも高い精度でタンパク質の折り畳みを予測できる機械学習モデルを作成したという、同分野における最新の成果について論じた論文を執筆した。アルキライシ氏は、データの背後にある理論を解明できなかったことを残念に思い、多大な努力を払ったが何も達成できなかったと述べた。 「新しい分析的洞察や概念を提供している論文や研究結果は、実際にはそれほど注目されていない」と、同氏はインタビューで語った。機械による発見のペースが加速するにつれ、古いやり方に固執する人々は、時代遅れで時代遅れの異端者とみなされるかもしれない。対照的に、特定のドメインで知識を発見する機械学習モデルは、トピックに対する回答をより早く提供できるため、知識自体よりも価値があります。

金融債務の管理は、貸し手から貸し手へ、未来から過去へ、といった具合に移行します。同様に、知識負債も制御の移転につながる可能性があります。この未知の知識の世界が、明確な因果関係のない世界へと徐々に変化していくにつれ、私たちは何をいつ行うべきかを自分自身に伝えるために、この漠然とした方法に頼らざるを得なくなります。たとえば、大学の入学委員会は、選考作業を機械学習テクノロジーに引き渡すかもしれません。機械学習テクノロジーは、応募者の努力と不確実性を明確なパターンに変換する役割を担います。このパターンにより、大学生のグループが最適化され、学業で成功する能力が向上するだけでなく、教師や学生との調和のとれた関係を築き、学校に惜しみない寄付をしてくれるようになります。さらに、将来的には、世界を理解する唯一の方法は、独自の AI ニューラル ネットワークを使用してソーシャル メディア プロファイルを調整し、ターゲット グループに適合しやすくなることかもしれません。

おそらくこれらすべてが現実になるだろうが、それはまた新たな問題を引き起こすだろう。 AI に対する批判のほとんどは、AI が起こす可能性のある間違いに焦点を当てています。AI は偏見を生み出したり複製したりする可能性があります。間違いを犯す可能性があります。また、悪意のある目的で使用される可能性もあります。しかし、他にも心配なことがあります。例えば、AI が正しい判断をしたとしても、それは何を意味するのでしょうか?