人工知能はどのようにして自分自身に目標を設定するのでしょうか?

インテリジェントシステムは独自の初期目標を決定することはできませんが、経験に基づいて独自の派生目標を構築し、その動作はこれらの目標によって共同で決定されます。この点ではコンピュータと人間の間に本質的な違いはないので、人工知能システムは人間レベルの自律性を完全に実現できます。私たちは、これに伴う機会と課題に備える必要があり、「人工知能は結局のところ、設計者の目的を達成するためのツールである（だから何も新しいことではない）」または「人工知能の目的は完全に人間の影響力を超えている（だから間違いなく人類を滅ぼすだろう）」と単純に主張するのは間違いです。

著者

ペイ・ワン（米国テンプル大学コンピュータ情報科学部）

人工知能が人間のレベルに達することは決してないと考える人たちの間で最も一般的なのは、「すべてのインテリジェントシステムは設計者が自分の目標を達成するためのツールであり、機械自体には目標はありません。人間だけが自分自身で目標を設定できます」というものです。私はこの主張が間違っていることを指摘したいと思います。

コンピュータシステムの目標

すべてのシステムには、「何をするか」という問題と「どのようにするか」という問題があります。前者は目標やタスクに関するものであり、後者は方法や手段に関するものです。従来のコンピューティング システムでは、両方とも人間によって定義されます。つまり、各プログラムは人間が定義した目標を人間が定義した方法で達成します。たとえば、一連の数値の最大値を見つけるプログラムを呼び出すことはできますが、コンピューターは、その目標を自分で設定したり選択したりするのではなく、与えられた目標を単に受け入れて実装するだけです。

達成すべき目標が大きい場合（「世界一の富豪になる」など）、自然な戦略としては、それをいくつかの小さな目標に分割することです。 「小さな目標」がまだ大きすぎる場合（「まず 1 億円を稼ぐ」など）、目標が達成可能になるまで（「ベッドから起きる」など）、さらに細分化します。この目標分解プロセスは人工知能では「後方連鎖」と呼ばれています（参考文献[1]を参照）。バックリンク プロセス中に生成される目標は、多くの場合「サブ目標」と呼ばれます。これらの目標はシステムによって生成されるが、システムが自ら設定した目標であるとは言えない。なぜなら、「サブ目標」は外部から設定された「全体目標」を所定の手順に従って分解することで得られるものであり、その価値と意義はもっぱら「全体目標」の実現に貢献することにあるからである。

現在普及している機械学習も、大量のデータから与えられた目標を達成するための方法をまとめるだけで、目標そのものを学習するわけではありません。つい最近、アップグレード版の AlphaGo が、囲碁を「やりたい」とは全く思わなかったにもかかわらず、60 回の連続無敗の記録で囲碁界を席巻しました。 AlphaGo で非常にうまく機能する「強化学習」テクノロジーは、各決定に対して受け取る「報酬ポイント」を通じて、さまざまな状況で最高スコアを獲得する方法を徐々に学習します。このタイプのシステムでは、各状況の報酬スコアを決定する関数によって、システムの目的が暗黙的に決定されます。この機能はシステム自体によって設定されるのではなく、設計者によってシステムにプログラムされます。

知性と自律性

AlphaGo はインテリジェントでしょうか? 人によって意見は異なりますが (「人工知能について語るとき、何について語っているのですか?」を参照)、真にインテリジェントなシステムには自律性、つまり「何をするか」と「どのようにするか」の両方について独自の決定を下す能力がなければならないと、多くの人が私と同じように感じると思います。 「コンピューターは創造的になれるか?」では、インテリジェント システムが特定の問題に対する解決策を自ら発見できるようにする方法について説明しました。ここでは、システムが自ら目標を設定できるようにする方法について説明します。

私が設計した「Nas」システムのさまざまな側面については、「What's Your Logic?」などのコラムで紹介してきました。 Nassは知識とリソースが相対的に不足している状況で動作する必要があるため、目標の処理方法は従来のシステムとは大きく異なります（詳細については参考文献[2]を参照）。ナスの「当初の目標」は、人為的に作られたシステムであるため、当然ながら外部に設定されますが、この点でも、従来のシステムとは2つの点で大きく異なります。

（１）リアルタイム：初期目標は、設計者によってシステムに組み込まれた固有の目標（「人類に利益をもたらす」など）か、システムの実行中にユーザーがいつでも入力する目標（「お茶を一杯ください」など）のいずれかになります。これらの目標には時間要件（「永久に」、「3 年以内」、「今日」、「直ちに」、「できるだけ早く」など）があり、システムがまだ他の目標でビジー状態にあるときに表示されることがよくあります。

（２）オープン性：システムが認識できる形で目標が表現されていれば、その内容に制限はない。つまり、目標は直接的または間接的に互いに矛盾する可能性があり (たとえば、あるユーザーが「ドアを開ける」と言い、別のユーザーが「ドアを閉める」と言うなど)、システムの現在の知識を超えている可能性があります (たとえば、「世界平和を達成する」など)。

インテリジェント システムは神ではないため、上記の特性から必然的に生じる結果として、Nas は設定されたすべての目標が達成されることを保証できません。もちろん、単に「それはできない」と言うのではなく、最大限に達成することが大事です。通常、システムは多くの目標を 1 つずつ達成するのではなく、同時にそれらを考慮します。それぞれの初期目標には「優先順位」があり、システムは優先順位を比較検討し、目標間で競合が発生した場合にどちらに傾くかを決定できます。

非常に単純な場合を除き、インテリジェント システムのほとんどの目標は 1 つのステップでは達成できません。 「人類に利益をもたらす」や「1億円を稼ぐ」は言うまでもなく、「一杯のお茶を届ける」ことでさえ、それぞれに具体的な目標があるいくつかのステップに分割する必要があります。 Nath は、自身の知識に基づいた推論を通じて「派生目標」を生成することができます。例えば、人工知能企業を立ち上げることで1億元を稼ぐことができると信じている場合、「人工知能企業を立ち上げる」ことを新たな目標として設定する理由があります。これは前述の「バックリンク」と類似していますが、根本的な違いがいくつかあります。最初に考慮すべきことは、他の目的への影響です。例えば、人工知能の今後の発展が「世界平和の達成」という目標を脅かすと考える場合（これは反省的AIです）、新たな目標として「人工知能企業を設立する」を設定せず、他の手段（不動産投機など）で1億を稼ぐことには理由があります。したがって、ナッシュでは、派生目標は、多くの場合、多くの初期目標と関連しているか、少なくとも初期目標によって否定されていないため、一般に単一の初期目標のサブ目標とは見なされません。第二に、派生目標が主に特定の初期目標を達成するための手段として作成されたとしても、両者の関係は当時のシステムの知識に基づいているため、後の経験によって覆される可能性が高い。例えば、「人工知能企業を立ち上げる」ということは、最終的には「1億元を稼ぐ」という期待とは裏腹に、損失を出すことになるかもしれません。 「検証、反証、証明、証拠：『証明』とは何か？」では、知的システムによる未来の予測は過去の経験に基づいているため、常に誤りの可能性があると説明しました。つまり、派生目標の達成は、それを設定した元の目標の達成に実際には役立たず、むしろ元の目標の達成を妨げる可能性がありますが、これはシステムがこの目標を生成するときに認識していなかった、または予期していなかったことです。最後に、派生目標が確立されると、その「元の」目標とのつながりは徐々に薄れ、元の目標が消えた後も（達成されたか放棄されたかに関係なく）派生目標は依然として存在する可能性があります。

要約すると、ナッシュの目標導出プロセスは、「手段から目的へ」のプロセスも開始しました。初期ターゲット A が派生ターゲット B の作成をトリガーした場合、2 つのターゲット間の関係は永続的ではなく、履歴的なものになります。システムは、B を A の家臣としてではなく、独立したターゲットとして扱います。もちろん、ここでは量的な違いがあり、つまり、最初は B の優先度は A の優先度よりも低くなります。後に B が (A 以外の) 他の人々からより多くの支持を得るようになると、B は徐々に A よりもシステムにとって重要な目標に成長する可能性があります。つまり、システムの動作を決定する際に、A が常に B よりも高い発言権を持つとは限らないということです。 Nas では、この派生チェーンの長さに制限がないため、B が C をトリガーし、C が D をトリガーする場合、ソースがそこから来ているとしても、D と A 間の実際の接続は非常に離れている可能性があります。派生目標は初期目標だけでなくシステムの経験にも依存するため、システムが自らのためにさまざまな程度に設定した目標と見なす必要があります。派生目標が初期目標から離れるほど、その「自律性」の度合いは高くなります。上記の例では、A は完全に「外部」ですが、B、C、D は他よりもシステムの「独自」と呼ぶにふさわしいと言えます。興味のある読者は、私のホームページのリンクから Nass のテスト バージョンをダウンロードして、この現象を確認することができます。

[[183564]]

（写真提供：Qiantu.com）

人々の目標はどこから来るのでしょうか?

上記の結論に異議を唱える人もいるかもしれません。派生した目標はすべて最終的には最初の目標から発生するため、システム自体によって構築されたものとは見なせないと言うのです。それでは、人々の「自分自身の」目標がどのように生まれるかを見てみましょう。

人間には「自由意志」があり、何でも好きなことができると多くの人が信じていますが、心理学者は人間の目標が恣意的またはランダムであるとは決して考えていません。その代わりに、心理学者は人間の動機、意欲、ニーズ、欲求、目標などの隠れた源を探ることに注力しています。この分野で最も有名な学者としてはフロイトとマズローがいます。フロイトは、人間の心理活動の基本的な原動力は生存や生殖などの生物学的なものであり、他の動機はこれらの本能的な欲求の変形または代替にすぎないと信じていました。マズローは人間の欲求を5つのレベル（低いものから高いものへ：生理的欲求、安全欲求、社会的欲求、尊重欲求、自己実現欲求）に分類し、高いレベルの欲求は低いレベルの欲求に基づいて発達します。これらの理論によれば、人々の最初の目標は彼ら自身によって決定されるのではなく、生来の性質（遺伝的要因）から来ます。私たちが選択できるのは、それらの派生形と派生形であり、これらの選択は恣意的ではなく、私たちの経験とリソースの制約内で行われなければなりません。

心理学者オールポートは「機能的自律性」という概念を提唱した（文献[3]）。これは、派生した動機が徐々に元の動機との機能的関係から脱却し、自律性を獲得すること、つまり「手段」から「目的」への転換を実現することを意味する。このような例は無数にあります。小学生が学習を始めるとき、最初の頃は親から報酬を得ることが主な目的ですが、後には知識を求める過程に喜びを見出すようになり、親からの報酬は必要なくなります。人工知能企業の創業者は、研究開発活動によって得られた達成感に満足し、1億人民元を稼ぐという企業設立当初の目的について考えなくなるかもしれません。最も極端なケースでは、自由のために自分の命を犠牲にするなど、派生した目標が元の目標を否定することさえある。これを目標の「疎外」と呼ぶことができます。

ここで「疎外」という言葉を中立的な意味合いで使うのは、この現象の結果が、個人の観点から見てもグループの観点から見ても、良い場合も悪い場合もあるからです。一方で、手段を目的とみなすことは、本来の目的の実現を妨げ、あるいは少なくともシステムの注意をそらすことになります。他方では、この疎外がなければ、動物性を超えた人間の追求はおそらく現れないでしょう（たとえば、芸術の用途は何でしょうか？岩絵を描くのに費やした時間をウサギを捕まえるのに使った方が実用的ではないでしょうか？）。いずれにせよ、これは真にインテリジェントなシステム（人間であれコンピューターであれ）では避けられない現象だと私は信じています。知識とリソースが不十分なため、このようなシステムでは、ターゲットから派生した関係の絶対的な妥当性を保証することはできず、意思決定プロセスでこれらの関係を十分に考慮することもできません。

インテリジェントシステムのターゲットシステム

AI に対してすでに警戒心を抱いている読者は、次のように考えているかもしれません。「目標の疎外は避けられないのなら、AI は制御不能になり、大惨事を招くことになるのではないですか?」私はその逆だと思います。汎用 AI の無害な使用を可能にするのは、上記の目標メカニズムです。

（インターネットからの写真）

主流の人工知能技術と比較すると、Nass のターゲット処理の違いは、「制約」と「進化」という 2 つのキーワードにまとめられます。

主流の人工知能は「これまでは人間の脳でしか解決できなかった問題を解決する」ことに取り組んでいるため、ほとんどのシステムは 1 つの初期目標のみを受け入れ、残りの目標はそのサブ目標となります。複数の初期目標を受け入れるシステムであっても、通常、これらの目標は互いに矛盾せず、1 つずつ達成できると想定されます。このアプローチは特殊用途のシステムには適していますが、汎用システムにはまったく適していません。 AlphaGo を例に挙げてみましょう。その設計は「ゲームに勝つ」という唯一の目標を掲げています。それが私たちの望みであれば、この技術は最適です。このシステムで「囲碁の学習方法を教える」、「囲碁ゲームの観戦体験を向上させる」、「囲碁のやり方を発見する」、「人間の自尊心を維持する」などの他の目標を同時に達成したい場合、この技術は適していません。

なぜこれらの目標を 1 つの「全体目標」にまとめることができないのでしょうか。これはある意味では可能です。たとえば、ナッシュは現在の目標に対する全体的な満足度を測定する方法を持っていますが、これは単純化された「幸福感」と言えます。しかし問題は、システムの知識のほとんどが、システムの「全体的な目標」に直接関係するのではなく、特定の「小さな目標」を達成する方法に関するものであることです。例えば、「ドアを押す」という行動は、一般的には「ドアを開ける」という目標を達成するだろうということは分かっていますが、この行動が私の「幸福感」を高める可能性がどの程度あるかは分かりません。したがって、目標の導出が必要であり、システムは単一の目標ではなく目標のシステムを考慮する必要があります。それだけに、「強化学習」などの既存のAI技術は、汎用知能（AGI）の中核技術としては利用できない。

セキュリティについてだけ話している場合でも、単一の目標には大きな問題があります。人工知能の危険性に関する議論で広く流布されている例としては、「もし超知能にペーパークリップを作らせたいなら、そのために地球上のすべての資源を使い果たしてしまうかもしれない」や「もし超知能に世界平和を実現させたいなら、すべての人類を滅ぼすことで平和を実現しようとするだろう」などがある。このことから、「全体的な目標」が有益で無害であったとしても、結果は悲惨なものになる可能性があることがわかります。これらの例は理にかなっています。しかし、問題は、これらの例が実際には単一の包括的な目標を追求することの危険性を示しているにもかかわらず、「AI は危険である」と主張するためによく使用されることです。歴史は、目標自体がどんなに価値のあるものであっても（「GDP」、「安定」、「政治的正しさ」など）、どんな犠牲を払ってでも目標を追求することで引き起こされる災難を繰り返し証明してきました。この危険を克服する方法は、全体的な目標をより正確に定式化することではなく、相互に制約された一連の目標によってシステムの動作を導くことです。 「これが欲しい」と言うとき、それは「これだけが欲しい、他には何も欲しいことはない」という意味ではありません。

同様に、主流の AI 研究は特定のアプリケーションに焦点を当てているため、システムの目標は一般的に同じままであるはずです。しかし、ナス氏のような一般的な人工知能研究は、「知性」「認知」「思考」「意識」などが何であるかを解明することを目的としており、したがって、システムの適応性、柔軟性、創造性、自律性などの特性に焦点を当てることになります。これらはすべて、対象システムがシステムの経験とともに進化することを必要とします。この進化は恣意的またはランダムな変化ではないことに注意してください。ある瞬間のナッシュの目標システムは、以前の初期目標だけで決定されるわけではありませんが、システムの初期状態（植え付けられた目標、本能的な反応などを含む）と経験（入力目標、観察データなどを含む）によって決定されます。理由もなく「世界を支配する」ことを目指すわけではない。

この目標システムの可塑性により、教育を通じてインテリジェント システムの安全性を確保できるようになります。どれほど注意深く設計されていても、汎用知能システムが将来どのような状況に直面するかを正確に知ることはできないため、汎用知能システムの将来の動作を完全に予測することはできません。 NASS のようなシステムの場合、設計プロセス中にすべての問題を解決しようとするのではなく、教育と社会化を通じて対象システムを徐々に形作っていく必要があります。人間についても同じことが言えます。遺伝子工学によって犯罪問題を完全に解決できるとは期待できません。この点については、「人工知能は危険か？」ですでに分析しました。

要約すると、インテリジェント システムは独自の初期目標を決定することはできませんが、経験に基づいて独自の派生目標を構築し、その動作はこれらの目標によって共同で決定されます。この点ではコンピュータと人間の間に本質的な違いはないので、人工知能システムは人間レベルの自律性を完全に実現できます。私たちは、これに伴う機会と課題に備える必要があり、「人工知能は結局のところ、設計者の目的を達成するためのツールである（したがって、何も新しいことはない）」または「人工知能の目的は完全に私たちの影響を超えている（したがって、間違いなく人類を破滅させる）」と単純に主張するのは間違いです。