フェイフェイ・リーのチームはディープラーニングの「遊び場」を作った。AIも独自に進化しており、考えてみると恐ろしいことだ。

[[427578]]

動物の知能は、環境と相互作用するにつれて、その体の形に合わせて進化します。

例えば、ハムスターは猫から逃れるために、たくさんの足を持つハムスターボール（ドージ）を作り出して進化してきました。

さて、本題に戻りますが、AI もかなり賢いのですが、動物とは異なり、AI は通常シリコンベースのチップ上に実装されており、物理的な身体はありません。

では、AI に「身体」が与えられた場合、これは知能の進化にとって重要なのでしょうか?もしそうなら、それをどのように活用してよりスマートな AI を作成できるのでしょうか?

スタンフォード大学のフェイフェイ・リー氏が率いる研究チームは、コンピューターシミュレーションによる「遊び場」DERL（深層進化型強化学習）を作成した。この遊び場では、「ユニマル」と呼ばれるエージェントが絶え間ない突然変異と自然淘汰を受ける。この論文はNature Communications誌に掲載された。

https://www.nature.com/articles/s41467-021-25874-z

結果は、仮想生物の体の形が新しいタスクを学習する能力に影響を及ぼし、より困難な環境で学習し進化した形態、またはより複雑なタスクを実行する際に進化した形態は、より単純な環境で学習し進化した形態よりも速く、より良く進化することを示しています。

この研究では、最も成功した形態を持つユニマルは、当初は先代と同じ基本知能レベルであったにもかかわらず、以前の世代よりも早く課題を習得しました。言い換えれば、「具現化」こそが知能の進化の鍵なのです。

「私たちは通常、AIが人間の脳内のニューロンの機能をどのように実現するかに焦点を当てています」と、研究チームのメンバーであり、スタンフォードHAIの共同ディレクターであるフェイフェイ・リー氏は言う。「しかし、AIを物理的な実体を持つものと考えるのはまったく異なるパラダイムです。」

「われわれの知る限り、これは形態を変えることで学習を加速できることを示す初のシミュレーション実験だ」と、人文科学学部応用物理学准教授でHAIの副所長でもある研究共著者のスーリヤ・ガングリ氏は述べた。

ユニマルユニバース

チームは仮想空間を設定し、そこに単純なシミュレートされた生き物を配置しました。もちろん、これらの生き物は「ランダムに」動く「幾何学的形状」（ユニマル）にすぎません。

学習段階では平坦な地形があり、ブロック状の尾根、階段、滑らかな丘など、より困難な地形もあります。ユニマルは、変化する地形を越えてブロックを目標位置に移動する必要があります。

トレーニング後、各 Unimal は同じ環境/タスクの組み合わせでトレーニングされた他の 3 つの Unimal と競争します。勝者は、親と同じ課題に直面する前に、手足や関節の変化を伴う突然変異を起こす一匹の子孫を産みます。

最終的に、4,000 種類の異なる形態を訓練した後、チームはシミュレーションを終了しました。この時点で、生き残ったユニマルは平均 10 世代の進化を遂げており、その形態は二足歩行、三足歩行、腕のある四足歩行、腕のない四足歩行など、驚くほど多様化していました。

当初、「ほぼグラフィック」には「頭」と発達した「手足」しかなかった。奇妙な姿勢が多かった。「よろめきながら前に進む人もいれば、トカゲのように歩く人もいた。また、「タコ」を思わせる非常に面白いスタイルで手を振る人もいた。」

はぁ？いつもと同じ実験のように思えるかもしれませんが、心配しないでください。進化はまだ始まったばかりです。

これらのユニマルは、「なだらかな丘」や「低い障害物」に満ちたさまざまな惑星で成長し、より激しい環境で競争します。 「逆境は成功の母である」という言葉が本当かどうか確かめてみましょう。

各環境の上位 10 名のユニマルには、「新しい障害物」からボールを​​ゴールまで動かす、箱を丘の上に押し上げる、2 つのポイント間を巡回するといった新しいタスクが与えられました。これらの「剣闘士」たちは、まさにその仮想的な気概を見せつけました。

最終的に、「複雑な地形」を移動できるユニマルは、「平坦な地形の同類」よりも新しいタスクをより速く学習し、より優れたパフォーマンスを発揮しました。

言い換えれば、彼らは「生き残る」ことによって「進化」するのであり、「実践しながら学ぶ」ことによって「進化」するのではない。代わりに、階段、丘、尾根、移動する地形などの複雑な環境で動作するために、同時に「進化」し、「学習」します。

平地では、タコ足歩行でも同じ時間でゴールラインに到達できるかもしれませんが、丘や尾根に適した体型の方が、より速く、より安定し、最も能力が高い傾向があります。彼らの万能な身体は経験をうまく活用することができ、すぐに競争相手を圧倒するようになりました。

進化に任せましょう。

一般的な計算フレームワークである DERL は、2 つの相互作用する適応プロセスを利用して具現化されたエージェントを作成します。

進化の外側のループは、突然変異操作を通じてエージェントの形態を最適化します (b)。内側の強化学習ループは、ニューラル コントローラーのパラメーターを最適化します (c)。可変地形操作では、エージェントはボックスを初期位置 (緑色の球) から目標位置 (赤い四角) に移動する必要があります。

各環境で 3 回の進化実行 (それぞれ 4,000 モーフ) を完了した後、チームは各環境からパフォーマンスの最も優れた 10 体の Unimal を選択し、障害物の回避、ボールの操作、箱を傾斜路に押し上げるなどの 8 つのまったく新しいタスクを完了できるようにゼロからトレーニングしました。

最も成功したユニマルは、個別学習（より少ないトレーニングでより良いパフォーマンスを得る）と世代間の学習の両方でより速かった。研究チームは、先祖が人生の後半に学んだ行動が、子孫の人生の早い段階で表現される可能性があることを発見した。

さらに、10世代後、最も成功したユニマル形態は、最も初期の祖先の半分の時間で同じタスクを学習しました。

これは、19世紀後半にアメリカの心理学者ジェームズ・マーク・ボールドウィンが提唱した、適応上の利点を持つ物事を学習する能力はダーウィンの自然選択を通じて受け継がれるという仮説を裏付けるものでもある。

人間は、原子炉の中を這って廃棄物を採取したり、地震後に災害救助を行ったり、人体の中でナノロボットを誘導したり、さらには皿洗いや洗濯物を畳むといった家事を行うといった奇妙なタスクのためにロボットの体を設計する方法を必ずしも知っているわけではない。

おそらく、これらのロボットを設計する唯一の方法は、進化に任せることなのでしょう。