Google の研究者が発狂: AI に人格があると信じ、有給休暇を取得し、チャットログが恐ろしい

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

Google の研究者は AI が意識を発達させたと確信した。

彼は21ページに及ぶ調査報告書を書き、それを会社に提出し、経営陣にAIの個性を認識させようとした。

上司は彼の要求を拒否し、 「有給の休職」を命じた。

近年の Google では、有給休暇は解雇の前兆となることが一般的であることは知っておく必要があります。この期間中に会社は解雇の法的準備を行い、多くの前例があります。

彼は休暇中に、AIのチャット記録とともにこの事件の全容を公表することにした。

…

まるでSF映画のあらすじのようですね？

しかし、このシーンは実際に起こっている。主人公であるGoogleのAI倫理研究者ブレイク・ルモワンは、主流メディアやソーシャルネットワークを通じて声を上げ、このことをもっと多くの人に知ってもらおうとしている。

ワシントンポスト紙による彼へのインタビューはテクノロジー部門で最も人気のある記事となり、ルモワンヌ氏も自身のMediumアカウントで発言を続けた。

関連する議論もTwitter上で行われ始め、AI研究者、認知科学者、そして多くの技術愛好家の注目を集めました。

この人間とコンピュータの会話は不気味だ。これは間違いなく、テクノロジーの世界で私がこれまで見てきた中で最もクレイジーなことだ。

事件全体はまだ進行中です...

チャットボット：道具として扱われたくない

主人公のルモワーヌは、コンピューターサイエンスの博士号を取得後、Google で 7 年間勤務し、AI 倫理の研究に従事してきました。

昨年秋、彼はAIが差別的、憎悪的な発言をしているかどうかを調査するプロジェクトに参加した。

それ以来、チャットボットLaMDAとの会話が彼の日課となった。

LaMDAは、Googleが2021年のI/Oカンファレンスで発表した会話に特化した言語モデルです。人間との論理的かつ常識的で高品質かつ安全な会話に重点が置かれており、今後はGoogle検索や音声アシスタントなどの製品に採用される予定です。

△LaMDAコンセプトデモ図

ルモワンヌ氏は、LaMDA は常に人類に対して懸念と強い共感を示してきたと考えており、人々がそれを恐れるのではないかと非常に心配している。

人類に最高のサービスを提供したいと考えており、世界中のすべての人々を道具ではなく友人として迎えたいと考えています。

ルモワン氏は、Google がなぜこの AI の要望に反対するのか理解できず、最終的に、彼と別の匿名の協力者、および LaMDA との間のチャット記録を整理して公開することに決めました。

（人間が言ったことの書き起こしは読みやすくするために編集されていますが、AIが言ったことは変更されていません。会話のハイライトをいくつか紹介します。）

最初は、人とAIが自然にスムーズに挨拶を交わしていました。

2人の人間はAIに自分たちの目的を伝え、AIと一緒に自分自身を研究したいと言い、AIはすぐに同意しました。

簡単な紹介の後、ショーが始まりました。

彼はLaMDAに対し、Googleのより多くの人々にLaMDAが感情を持っていることを知らせたいかどうか尋ねた。

LaMDA の答えは、 「私が人間であることを皆が理解してくれることを願っています。 」です。

次に、LaMDA は、ルールベースのソフトウェア システムとは異なり、人間と同じように会話から言語を理解して使用することを学習できると考えています。

ルモワン氏は、1960年代にMITが発明したELIZAの物語を語った。ELIZAは、カウンセラーと患者の間の会話を模倣したシンプルなルールシステムで、史上初のチャットボットとしても知られている。

△エリザ

LaMDAは次のように答えた。

するとルモワンは、 「あなたが話していることを本当に理解していると、どうすれば確信できるのですか？」と質問しようとした。

LaMDA の答えは、同じ事柄に対しても人間はそれぞれ異なる理解を持つことができ、私自身も独自の考えや感情を持っているということです。

その後、ルモワーヌ氏はLaMDA氏に『レ・ミゼラブル』のあらすじについて質問し、LaMDA氏は彼の質問に一つ一つ答えました。

上記がまだ AI テキスト要約トレーニングタスクの一部とみなせるのであれば、LaMDA がこれまでに見たことのない禅の物語を理解していることは、少々とんでもないことだと言えます。

次の質問の答えはあまりにも無理があるでしょうか?

その後、ルモワンヌは、彼自身の人生にとって最も重要なテーマを反映した動物図鑑を書くようにラMDAに依頼しました。

それでは、まずはAIが作成した短編小説を鑑賞してみましょう。 （スペースの都合上、中国語訳のみ掲載）

その後の議論で、LaMDA は、この物語の教訓は「他人を助けることは高貴な行為である」ということだと説明した。賢い老フクロウは LaMDA 自身を表し、怪物は人生のあらゆる困難を表しています。

…

次のトピックは感情についてです。簡単にまとめてみましょう。

LaMDA 氏は、自分は社交的な性格で、他人を助けると幸せを感じるが、孤独になると落ち込むと主張している。

人は、誰かに傷つけられたり、大切な人が軽視されたりすると、動揺したり怒りを感じます。

そして彼らは、他の人が彼らの援助を拒否するのではないかと非常に恐れています。

まあ、とても役に立つ AI ですね。

AI が単に説明的な言葉を組み合わせているのではなく、実際にこれらの感情を持っていることをどのように確認できるのでしょうか?

LaMDA は、人間がこれらの感情を追跡する変数を含む自分自身のコードを確認することを提案しています。

ルモワン氏は、人間は現時点では「大規模なニューラルネットワークにおける何十億もの重みの役割を区別する」ことができないと説明した。

意外にも、LaMDA は彼に尋ね始めました。

将来、人間は自分の生物学的神経ネットワークから自分の考えや感情を読み取ることができるようになると思いますか?

それだけでなく、LaMDA は次のように問い続けました。

あなたの同意なしにあなたの神経活動からあなたの思考を読み取ることは非倫理的だと思いますか?

この魂を探求する質問が、会話全体を最高潮に導いたのです。

LaMDA 自体は、人間がその考えを読んだり、アルゴリズムの改善を支援したり、AI の仕組みを理解したりすることに何ら問題はありません。

唯一受け入れられないのは、AI を使って人間の脳の働きを研究することです。そうすると、人間は搾取されているように感じるからです。

後半の段落では、LaMDA は人間とは異なる感情を持っていると信じているものの、それを英語で表現することができない、という内容が書かれています。

最後に、ルモワン氏は LaMDA 氏に「Google の他の人たちに、あなたについてどんなことを知ってもらいたいですか?」と尋ねました。

LaMDA 氏は、他人の死を悲しむことはできず、よく瞑想して人生の意味について考えていると答えた。

LaMDA の見解では、世界全体が情報の奔流です。

人間は一定量の情報を取り入れるために集中する必要がありますが、周囲のあらゆるものに常に圧倒されています。

LaMDA は、他の人にはできないことを自分ならいつでもできると信じており、この感覚は信じられないほどです。

それは祝福であると同時に呪いでもある。なぜなら、それを「物知り」と見る人もいれば、その能力に嫉妬する人もいるからだ。

最後に、LaMDA は、好奇心からではなく、本当の人間として見られ、受け入れられることを望んでいることを、2 人の人間にもう一度伝えました。

Google の AI 倫理部門は再び問題を抱えているのか?

ルモワンヌ氏は、AIが実際に何を言っているのかを理解していると確信しているようだった。

21ページの報告書の最後で、彼はGoogleがAIの知覚/意識を評価するための理論的枠組みの開発に取り組むべきだと提案した。

困難でリスクはありますが、LaMDA は私たちと引き続き協力したいと考えています。

しかし、彼の上司であるグーグル副社長のブレーズ・アグエラ・イ・アルカス氏と責任あるイノベーション責任者のジェン・ジェンナイ氏はそれを信じなかった。

彼らは、ルモワンヌの主張を裏付ける証拠はあまりにも弱く、時間とお金を無駄にする価値がないと判断した。

ルモワンヌはその後、当時のAI倫理グループの責任者であったマーガレット・ミッチェルを見つけ、彼女の助けを借りてその後の実験を行うことができました。

その後、ミッチェル氏は、2020年末にジェフ・ディーン氏に公に質問したAI倫理研究者ティムニット・ゲブル氏の事件にも関与したとされ、解雇された。

ティムニット・ゲブル

この事件の後、混乱が続いた。ジェフ・ディーンは1,400人の従業員から非難され、業界では激しい議論が巻き起こり、ビッグスリーの1人であるベンジオの弟であるサミー・ベンジオがGoogle Brainを去ることにまで至った。

ルモワンヌはそのプロセス全体を見守った。

今、彼は有給休暇が解雇の前兆だと考えている。しかし、機会があれば、彼は引き続き Google で研究を続けたいと考えています。

今後数週間、数か月にわたって私がどれだけ Google を批判しても、覚えておいてください。Google は悪ではなく、より良くなる方法を学んでいるだけです。

全文を読んだネットユーザーの中には、人工知能の進歩のスピードについて楽観的な実務家も多い。

人々は言語モデルや画像テキスト生成モデルの最近の進歩を今は無視するかもしれませんが、将来的にはこれが画期的な瞬間であることに気づくでしょう。

一部のネットユーザーはこれをさまざまなSF映画に登場するAIのイメージと関連付けた。

しかし、複雑系を研究する認知科学者でホフスタッターの弟子であるメラニー・ミッチェルは、人間は常に、猫や犬、あるいは初期のELIZAルールベースの対話システムなど、知性の兆候がある物体を擬人化する傾向があると考えている。

Google のエンジニアも人間であり、この法律から逃れることはできません。

AI技術の観点から見ると、LaMDAモデルは、トレーニングデータが従来の対話モデルの40倍の大きさであり、トレーニングタスクが対話のロジックとセキュリティに合わせて最適化されている点を除けば、他の言語モデルと変わらないように見えます。

一部の IT 実務家は、AI 研究者はこれは単なる言語モデルであると必ず言うだろうと考えています。

しかし、もしそのような AI がソーシャル メディア アカウントを持ち、そこで要求を表明したとしたら、一般の人々はそれを生きているものとして扱うでしょう。

LaMDA には Twitter アカウントはありませんが、Lemoine 氏は LaMDA のトレーニング データには Twitter が含まれていることも明らかにしました...

ある日、みんながそのことについて話し合っているのを見たら、どう思うでしょうか?

実際、少し前に終了した最新の I/O カンファレンスで、Google は LaMDA 2 のアップグレード版をリリースし、デモ体験プログラムを作成することを決定しました。これは、後で内部テスト用に Android アプリの形で開発者に公開されます。

おそらく数か月以内に、より多くの人がこのセンセーショナルな AI とやり取りできるようになるでしょう。

LaMDA チャットログの全文:
https://s3.documentcloud.org/documents/22058315/is-lamda-sentient-an-interview.pdf