AI を人間の価値観に合わせるのはなぜ難しいのでしょうか?

何十年もの間、私たちは自分たちのイメージに合った人工知能を開発しようと努めてきました。一方で、私たちは人間と同じくらい賢く、人間と同じくらい愚かな機械を作ることにも取り組んできました。

[[380617]]

しかし、60年にわたる研究開発を経ても、目標、意図、価値観の面でAIシステムを人間と一致させることは、依然として達成困難な目標のままです。 AI は、ほぼすべての主要分野で人間の知能に近い、あるいはそれ以上のレベルに達していますが、最も中核的な領域では常に欠陥があります。まさにこの欠陥が、AI テクノロジーが私たちが期待するような、変化し論理的に行動する能力を真に備えたインテリジェントな存在になることを妨げているのです。

プログラマー兼研究者のブライアン・クリスチャンは、最新著書『The Alignment Problem: Machine Learning and Human Values』で、AI モデルが「私たちの規範や価値観を捉え、私たちの意味や意図を理解し、それに基づいて優先順位を決定」できるようにするという現実的な課題について論じています。近年、機械学習の応用範囲が徐々に拡大しており、実用分野で誤った判断を下すと悲惨な結果を招く可能性が高まっています。このような背景から、クリスチャンが提起した疑問はますます緊急性を帯びてくる。

クリスチャン氏によると、「機械学習システムがより一般的になり、強力になるにつれて、私たちは「初心者の魔法使い」のような存在になり始めます。私たちは、指示によって指示できるように見える自律的な力を行使しますが、指示が正確または完全でない場合、ひどく意図しない結果につながる可能性があります。」 ”

この本の中で、クリスチャンは人工知能の現状とその開発プロセス全体を包括的に説明するとともに、既存の AI 作成方法のさまざまな欠点についても探究しています。

この本からの重要なポイントをいくつか紹介します。

機械学習: 入力から出力へのマッピング

AI 研究の最初の数十年間で、記号システムは、それまで論理的推論を必要としていた複雑な問題を解決する上で目覚ましい成功を収めました。しかし、これらのシステムは、物体の検出、顔の認識、音や会話の理解など、人間の子供が扱えるような小さな問題を解決するのが困難です。さらに、このようなシステムはスケーラビリティが低く、明確なルールと知識の定義を確立するために多くの手動介入が必要になることがよくあります。

近年、機械学習やディープラーニングへの世界の注目が急速に高まり始めており、コンピュータビジョン、音声認識、自然言語処理などの分野（従来のシンボリックAIでは対応できなかった分野）の急速な発展も促進しています。機械学習アルゴリズムは、データ量やコンピューティング リソースに応じて拡張できるため、人工知能の黄金の 10 年が到来します。

問題は、機械学習アルゴリズムは素晴らしいものの、本質的にはまだ初歩的であり、複雑な数学関数を通じて観察結果を結果にマッピングしている点です。そのため、機械学習の品質はデータの品質によって直接決定され、実際に使用されてトレーニングデータと一致しない現実世界の素材にさらされると、深刻なパフォーマンスの低下が発生します。

この本の中で、クリスチャンは、機械学習アルゴリズムが損なわれる恥ずかしい、さらには有害な方法の例をいくつか挙げています。たとえば、肌の色が濃い人をゴリラとして分類する Google フォトの分類アルゴリズムを考えてみましょう。問題はアルゴリズム自体ではなく、使用されるトレーニング データにあります。 Google がデータセットに肌の色が濃い被験者をもっと多く含めていれば、この問題は回避できたはずだ。

「もちろん、理論的には、そのようなシステムは一連の例から何でも学習できます」とクリスチャン氏は書いている。「しかし、これはまた、AI システムの理解方法が、それが使用する例によって完全に左右されることを意味します。」

さらに悪いことに、機械学習モデルは善悪を区別できず、倫理的な判断を下すことができません。機械学習モデルのトレーニング データに問題がある場合、その問題はモデルの動作に微妙な形で、あるいは気付かない形で反映されることがよくあります。例えば、アマゾンは2018年に採用の決定に使用していた機械学習ツールを、その結果が女性に対して差別的であることが判明したため停止した。 AIの開発者が性別に基づいて候補者を選ぶつもりがなかったことは明らかだが、モデルのトレーニングに使用されたデータはAmazonの過去の記録からのものであったため、同社の採用傾向の一部が反映されている。

機械学習モデルのバイアスに関しては、これは氷山の一角にすぎません。これらの問題、そして機械学習モデルが私たちの過去の行動から盲目的に教訓を引き出すという事実により、私たちはこれらのツールを完全に信頼することができません。

「現実世界をモデル化するのは比較的簡単ですが、モデルは使用されると常に変化し、その結果世界も変化します」とクリスチャン氏は書いています。「ほとんどの機械学習モデルは、モデル自体はモデル化された現実を変えないという大まかな仮定に基づいて設計されています。しかし、この仮定が真実であることはほとんどありません。実際、そのようなモデルを不注意に展開すると、フィードバック ループが発生し、軌道に戻すのがますます難しくなる可能性があります。」

人間の知性は、データの収集、パターンの発見、パターンを行動に変換する上でより大きな役割を果たす必要があります。機械学習の本当の課題は、データ、さらには機械学習に関する私たちの仮定の多くが完全に間違っていることを証明しました。

クリスチャン氏は、「批判的に考える必要があります。トレーニング データのソースに注意を払うだけでなく、システムの基本事実として機能するラベルのソースにも注意を払う必要があります。人々が基本事実だと思っているものは、基本事実ではないことがよくあります。」と警告しました。

強化学習：報酬の最大化

強化学習は研究者が驚くべき偉業を達成するのにも役立ち、AI が複雑なビデオゲームで人間のチャンピオンに勝つことを可能にしました。

過去 10 年間、AI 技術のもう 1 つの主要分野である強化学習も広く注目を集めてきました。強化学習では、モデルに問題空間と報酬関数のルールを提供する必要があります。その後、モデルは空間全体を自律的に探索し、報酬を最大化する方法を見つけます。

クリスチャンは、「強化学習は、知能の一般的で本質的な定義を探るのに役立ちます。知能は実際の目標を達成する能力の計算部分であるというジョン・マッカーシーの主張が真実であれば、強化学習は驚くほど一般的なツールボックスを提供します。」と書いています。その中核となるメカニズムは、試行錯誤を通じて、新時代のあらゆる人工知能ソリューションの共通基盤を探求することです。 ”

強化学習は、Atari ゲーム、囲碁、StarCraft 2、DOTA 2 などのゲームで実際に優れたパフォーマンスを発揮し、ロボット工学の分野で広く使用されています。しかし、その成功の裏では、単に外的な報酬を追い求めるだけでは知能の働きを完全に反映することはできないことにも人々が気づき始めている。

一方、強化学習モデルでは、単純な判断能力を開発するために長いトレーニング サイクルが必要です。そのため、この分野の研究は、無制限のリソースを持つごく少数のテクノロジー大手の独占領域となっています。さらに、強化学習システムの適用範囲も非常に限られています。「スタークラフト 2」で人間の世界チャンピオンに勝つことができるシステムは、他の同様のゲームには適用できません。強化学習エージェントは、長期的な目標を犠牲にして、無限のサイクルを通じて最も単純な報酬最大化パスを追求する可能性も高くなります。レーシング ゲームの AI を例に挙げてみましょう。ボーナス アイテムを収集する無限ループに陥ることがよくありますが、ゲーム全体に勝つことはできません。

クリスチャン氏は、「外部報酬とのこの強固なつながりを排除することが、汎用 AI を構築する秘訣かもしれない。なぜなら、アタリのゲームとは異なり、現実の生活では、私たちが行うすべての行動に対して明確なリアルタイムのフィードバックが事前に設定されているわけではないからだ。もちろん、私たちには、スペル、発音、行動パターンを適時に修正できる親や教師がいる。しかし、これらは人生のすべてではなく、私たちの生活は権威によって完全に制御されるものではない。私たちは自分の意見と立場に基づいて判断を下す必要があり、それが人類の生存と発展の基本的な前提である」と考えている。

クリスチャン氏は、強化学習の原理に従って、その逆のことをすべきだとも示唆した。「予想される行動と組み合わせた環境報酬の構築方法を検討し、モデルが行動パターンを段階的に習得できるように誘導します。これは、料理評論家のために料理を作り、彼の承認を得る方法を考えるようなものです。」

AIが人間を模倣する必要はあるのでしょうか？

クリスチャンは、この本の中で、AI エージェントの開発の重要性についても論じています。これらのエージェントに人間の行動を模倣させることに本当に意味があるのでしょうか? 自動運転車は典型的な例であり、エージェントは人間のドライバーを観察することで車の運転方法を学習します。

模倣は確かに驚くべき効果を発揮し、ルールやラベルが十分に明確でない問題に対処するのに特に適しています。しかし、模倣は人間の知性の欠陥も引き継いでいます。人間は幼い頃に模倣や暗記を通じて多くの知識を習得する傾向がありますが、模倣は私たちが知的な行動を発達させる多くのメカニズムのうちの 1 つにすぎません。他人の行動を観察するとき、私たちは自分自身の限界、意図、目標、ニーズ、価値観に基づいて反応を調整します。

クリスチャンはこう書いています。「もし私たちが真似する人が私たちよりも速かったり、強かったり、大きかったりしたら、私たちは彼らを完璧に真似することはできず、真似をし続けると問題を解決する能力が損なわれてしまいます。」

確かに、AI システムは私たちの行動を観察して予測し、それを模倣することで支援しようとします。しかし、AI システムは人間と同じ制約や制限を受けていないことは明らかであり、そのため AI システムは人間の意図を誤解したり、悪い習慣を増幅したりして、最終的には私たちの生活のあらゆる側面に悪影響を広げる可能性があります。

「デジタル執事は私たちの私生活と公生活を注意深く観察し、良い面と悪い面を調べていますが、これらの要素がどのように異なっているか、また互いにどのように関連しているかは実際には知りません」とクリスチャン氏は書いている。「AIシステムは奇妙で複雑な谷間に生きているようです。人間の行動から人間の欲望の複雑なモデルを推測することはできますが、これらの欲望がどこから来るのかを理解することはできません。次に何をすべきかを考えようと苦労しますが、私たちが何を望んでいるのか、私たちがどのように今の自分になるのかを理解していません。」

未来はどこにあるのでしょうか？

機械学習の進歩は、私たちがすでに思考する機械の創造に向けて順調に進んでいることを示唆しています。しかし、機械学習によってもたらされる課題と影響は、人間の知性を理解するという前提条件の問題に立ち向かう必要があることを改めて私たちに思い出させます。

AI の科学者や研究者は、これらの障害を克服し、人間に害を与えず、人間にのみ利益をもたらす AI システムを作成するために、さまざまなアプローチを模索しています。この目標を達成するまでは、このようなシステムに過度の権限を与えないように注意する必要があります。

最後にクリスチャン氏は、「現時点で最も危険な行為は、機械学習の分野で一見妥当なモデルを見つけ、急いで研究の成功を宣言することだ。これは社会全体に悲惨な結果をもたらす可能性がある」と警告した。