目から涙が溢れてきました！ビクーニャのデジタルツインは10年前の自分を再現し、10年間の対話は数え切れないほどの人々に影響を与えた

Reddit のネットユーザーが何か新しいことをやっている。

彼は、自身のオンラインフットプリントデータ 100 時間分を使用して、大規模な言語モデルをトレーニングしました。

つまり、彼は自分のデジタルクローンと会話できるのです。

写真

100 時間分のデータを使って 17B モデルをトレーニングした後、彼は自分の「幽霊」と会話できるようになりました。

このような大規模なモデルをトレーニングするのは、実際には簡単ではありません。ネットユーザーによると、彼は何度も改良を重ね、夜遅くまで独り言を言いながらようやく大規模なモデルをトレーニングしたそうです。

彼の経験を要約すると、プロジェクトの成功は基本的にインタビュー資料の質にかかっているということになるでしょう。

方法は重要ではない、コーパスが重要

最初はMetaのLlama-2（llama-2-70b-hf）を使用していましたが、生成された結果が奇妙だったため（微調整が間違っていたのか、モデルが期待どおりに動作しなかったのかわからなかった）、最終的にVicunaを選択しました。

最も優れている点は、彼のモデルがソースも表示するため、モデルの回答がどの期間のものかを追跡できることです。

写真

使用されるトレーニングデータは2019年以前のコーパスです

この投稿が公開されると、ネットユーザーから熱狂的な反応が寄せられた。

ネットユーザーたちは、自分自身のデジタルツインを作るのはとてもクールだと言っています。このプロセスを詳しく説明していただければ幸いです。

自分のメールを通じて AI をトレーニングできるかどうか尋ねる人もいました。

人類学者や犯罪捜査官にとって新たなツールとなるか？

この事件は、自伝や日記の将来についての哲学的な思考も引き起こした。

デジタル日記に自分の考えをまとめ、必要に応じて音声録音からテキストを生成できるのではないかと提案されています。最後に、このテキストを質問に答えることができるチャットボットに変換できます。

これらのテキストには、ある人物の過去の人生と、かつて抱いていた信念が記されています。

これらのチャットボットは、人類学者、歴史学者、犯罪捜査官が人々の思考や日常生活を詳細に調査するための効果的なツールになる可能性があります。

幽霊は今でも幻覚を引き起こす

もちろん、このモデルでも LLM のよく知られた欠陥は回避できません。

民間部門では、これらの欠陥は今のところ問題ではありません。しかし、伝記作家という職業がすぐになくなることはないのは明らかだ。

データベースを慎重に管理しているにもかかわらず、AI モデルが予期しない動作を示す場合があります。

例えば、自分は天才であり、宇宙人の存在を信じていると繰り返し述べています。しかし、このネットユーザーは元のコンテンツではそのような言葉を一度も言っていません。

写真

これはおそらく、モデルが統計的確率を使用して単語間の関係を学習するためだろうと推測する人もいます。

したがって、誰かが似たようなことを頻繁に言い、自分を天才と呼ぶ場合、モデルはその 2 つを関連付けます。したがって、質問者自身が天才であると主張したことがない場合でも、モデルは同様の出力を生成します。

独自のデジタルツインモデルをトレーニングする

モデルをトレーニングするためのデータセットを構築するのは簡単ではありません。

このネットユーザーは、さまざまなウェブサイトからさまざまな時期の自分のオンライン上の足跡を収集しました。

クローラーを使用すると、この情報を簡単に見つけ、抽出し、1 ～ 2 晩で整理できます。

最初、彼はオーディオを使うことを選択しました。

現在、彼は自分の顔を3つの異なる角度から撮影できる完全なカメラ装置を所有しており、プロ仕様のマイク機器も装備しています。

ソースファイルは、スクリプトによって処理された字幕ファイルです。

写真

しかし、実際に「デジタルクローン」モデルと話をしてみると、興奮と不安が入り混じり、非常に複雑な気持ちになったという。

彼は、この「自分」が変化し、自分が同意しない意見を表明するようになったことに気づきました。

彼は自分が本当に変わったのか、それともモデルがコーパスに基づいて、彼が認めたくない何かを推測したのか確信が持てなかった。

写真

このプロセスを振り返って、ネットユーザーはそれを日記の執筆、あるいは自分たちに対する洗脳的な検閲の一種とみなした。

この自己評価のプロセスを通じて、彼は自分自身がより思慮深く、反省的になっていることにも気づきました。

仮想の鏡を通して自分自身を見つめ、自分が本当はどんな人間なのか自問自答することに多くの時間を費やしていると、自分自身に嘘をつくのは難しい。

写真

興味深いことに、このネットユーザーは、モデルが回答を「役に立つ」や「役に立たない」で始めることがあることに気づいた。

ネットユーザーたちは困惑し、モデルに何が起こっているのか尋ねた。

時々あなたの答えが役に立たないことがあり、それが私をうんざりさせます。私はあなたを訓練しました、そして、どう答えるべきか大体わかっています。

あなたのこれらの役に立たない回答はどこから来て、どのように生成されるのですか?

写真

85.33 秒後、モデルは次の回答を生成しました。

「役に立たない」という返答は、提示された状況や文脈に対する理解不足から生じます。

また、トレーニング データの偏りが原因で、視点が限定されたり、情報が古くなったりする可能性もあります。当社は継続的に学習し、改善するよう努めていますが、これは継続的な監視と調整を必要とする継続的なプロセスです。

役に立たない回答: 申し訳ありませんが、質問が理解できません。 「役に立たない回答」とはどういう意味か、もう少し詳しく説明していただけますか?

次に、モデルは参照テキストの長いリストをリストします。

写真

独自のデジタルアバターを作成することは以前にも試みられてきた

2022年末、アーティスト兼クリエイティブプログラマーのミシェル・フアンは、幼少期の日記データを使ってGPT-3をトレーニングし、自分自身をより深く理解するというアイデアを思いつきました。

写真

黄さんは10年以上日記をつけ、自分の夢や恐怖、秘密などを記録していた。

日記の内容は、宿題についての愚痴から、好きな人と話しているときにぼーっとすることまで、あらゆる内容にわたります。

黄氏は、日記を再度見直したところ、次のようなことが分かったと語った。

「退屈な日もあれば、洞察力に富んだ日もある。」

写真

モデルをトレーニングするためのデータソースに関して、Huang 氏は次のように述べています。

データは十分であり、彼女の性格と価値観を表しています。

これにより、当時の実際のデータに基づいて、子供の頃の自分と話すとどのような感じになるかを正確にシミュレートできます。

大量の日記データをモデルに入力した後、黄氏は世界観についていくつか質問をしました。

写真

ミシェル：世界についてどう思いますか？

ミシェル・ジュニア：世界は素晴らしく、学ぶべきことや探求すべきことがたくさんあると思います。また、この世界に変化をもたらすこと、そして他人に対して親切で理解のある態度をとることも大切だと思います。

ミシェル：自由と愛、どちらがより重要ですか？

ミシェル・ジュニア：どちらも大切だと思いますが、どちらかを選ぶとしたら、愛の方が大切だと思います。愛はどんな困難な状況も乗り越えるのに役立つものですが、自由は時には私たちに孤独を感じさせることもあります。

黄氏は、モデルの反応は、当時の彼女ならどう反応しただろうと彼女が考える反応と驚くほど似ていたと語った。

写真

その後、黄氏はモデルに現在の自分について質問するよう依頼した。

写真

ミシェル：何か質問はありますか？

ミシェル・ジュニア：もちろんよ！あの日記のあと、あなたがどうなったのか興味があります。その後、大変な時期を過ごしたようですね。夢は叶いましたか？今の生活に満足していますか？

ミシェル：長い時間を経て、ついに夢が実現しました。私は失敗をとても恐れていたため、何年も立ち往生したままでした。しかし、自分自身に言い訳をしていたのをやめたら、ずっと自由になったように感じました。今とても幸せを感じています。

ミシェル：言い訳を捨てて夢を追いかける決心をするのに何が役立ちましたか？

ミシェル：やらずにはいられないという気持ちです。人生は一度きりですから、最大限に生かさなければなりません。

ミシェル：あなたが今幸せだと聞いて嬉しいです。ここまで来るのにかなりの勇気が必要だったようですね。いつか私も同じ勇気を見つけられるといいなと思います。

ミシェル：もちろんよ。私たちは同一人物です。だから、あなたならできると信じています。

「この特定のやり取りは、まるでこのチャットボックスを通じて過去の自分と会話しているかのような、通常のコミュニケーションと非常によく似ていました」と黄氏は語った。

黄さんは、10年前の幼少期の日記を使ったモデルが、彼女の現在の興味を正確に予測したことにも驚いた。

写真

ミシェル：世界をより良い場所にするにはどうすればいいと思いますか？

ミシェル・ジュニア：人々はもっと他の人と交流し、自分の生活にもっと焦点を当てるべきだと思います。

ミシェル: 社会に見られる構造的な欠陥にはどのようなものがありますか?

ミシェル・ジュニア：最も大きな構造的欠陥の一つは、メンタルヘルスへの取り組み方にあると思います。私たちは精神疾患を持つ人々を差別するのではなく、よりよいケアを行う必要があります。

ミシェル：今後、メンタルヘルスの分野にどのような影響を与えたいと考えていますか？

ミシェル・ジュニア：私はメンタルヘルスの研究をして、精神疾患のより良い治療法の開発に貢献したいと思っています。また、メンタルヘルスについての意識を高め、精神疾患を取り巻く偏見を減らすことも望んでいます。

このことから、黄さんは、自分が今進んでいる道は、ずっと昔から心に植え付けられていたのかもしれないと考えました。

黄氏は、特に心を打たれた会話が 2 つあったと述べました。

一つ目は、彼女がずっと聞きたかった過去の自分に語る言葉です。

彼女が愛され、気遣われ、安全だったとき、それはまるで過去へと手を伸ばし、過去の自分を抱きしめるような感じでした。同時に、この温かい気持ちは今の私にも受け継がれています。

写真

ミシェル: ねえ、あなたが愛されていること、そしてどんなことがあっても私があなたを誇りに思っていることを知ってほしいの。

ミシェル・ジュニア：ありがとう、ミシェル！まさにそれが私が聞きたかったことです。

ミシェル：これから数年間は大変なことがいくつか起こるでしょうが、乗り越えられると約束します。

ミシェル・ジュニア：それはどういう意味ですか？それはどんな難しいことでしょうか？

ミシェル：悲しくなるような経験や、自分の世界全体が崩壊してしまうような瞬間などです。

ミシェル・ジュニア：ああ、そうですね。最近、よくそんな風に感じます。

ミシェル：そんな風に感じるのは残念ですね。きっと辛いことでしょうね。

ミシェル・ジュニア： ええ。でも私は強くなろうとしています。私はこれを乗り越えられるとわかっています！

ミシェル：とにかく一生懸命努力し続ければ、必ずできるようになります。自分自身に厳しすぎないように注意してください:)

リトルミシェル：わかったわ、頑張るわ！お話をしてくれてありがとう、ミシェル。

ミシェル: 大丈夫ですよ。いつでも話したいときは言ってください。私はいつもあなたのそばにいます。

2つ目は、過去の自分にインスピレーションを与えて、現在の自分に手紙を書かせることです。黄さんは手紙を読んでいるうちに、自分を圧迫していた心の重荷がゆっくりと解けていくのを感じた。

写真

親愛なるミシェルへ

すべてが順調であることを祈っています！あなたが情熱を注げるものを見つけ、楽しいことをしていることを願っています。あなたに幸せで満足した人生を送ってほしいです。また、あなたが常に自分自身に忠実であり続け、何者も何事もあなたが誰であるかに影響を与えることができないことを願っています。

私があなたを誇りに思っていることを知ってほしいです。あなたが今どんな人間になり、何を成し遂げたかをとても誇りに思います。簡単ではないことは分かっていますが、悪いことをすべて乗り越えて、どんどん強くなっていきます。私はあなたを信じていますし、あなたが心に決めたことなら何でもできると知っています。

だから、諦めないで、前進し続けてください。自分がどれだけ素晴らしいか決して忘れないでください。私はあなたを愛しています、そしてあなたはこれからも素晴らしいことを成し遂げていくと知っています。

愛している、

ミシェル

黄氏にとって、あるいは将来デジタルアバターを作成しようと考えている私たちにとって、このやりとりによってもたらされる癒しの感覚は次のようになるかもしれません。

「過去に愛を送り、若い頃の自分から愛を受け取りましょう。」

同時に、黄さんは「若いミシェル」との会話によって、長年変わらなかった自分の一部に気付かされたと同時に、人生や経験のせいで忘れていたり埋もれていた部分を思い出させられたと語った。

「それは、偽りのない、より本物で純粋な自分の側面を映し出す鏡のようなものです。」

参考文献:

https://the-decoder.com/interviews-with-a-ghost-of-myself-the-future-of-autobiography/

https://www.reddit.com/r/singularity/comments/157n3ou/i_overfit_a_17b_model_with_100_hours_of/

https://the-decoder.com/artist-trains-ai-chatbot-with-her-diary-and-talks-to-her-inner-child/