脳も学習を強化しています！ 「価値判断」は脳によって効率的にコード化され、ニューロンに公開される

[[437266]]

私たち一人ひとりは、人生において、「今夜何を食べるか」「明日はどこに遊びに行くか」といった小さなものから、「この戦いにどう立ち向かうか」「この法律をどう策定するか」といった大きなものまで、たくさんの決断をしなければなりません。

これらの決定の最終的な結果は、意思決定者の頭脳によって決まります。

そのため、この種の「判断」を司る脳の主要領域が科学者の注目の的となっている。

2019年、カリフォルニア大学サンディエゴ校の研究者らは、「価値判断」を行う脳の領域を発見した。

研究者らは、脳梁膨大部後皮質（RSC）と呼ばれるこの領域が、今夜どのレストランで食事をするかを決めるといった「価値ある選択」を行うために脳が使われる場所であることを発見した。次に、今夜の食事が気に入ったかどうかという新しい印象に基づいて、RSC を新しい情報で更新します。

結局のところ、情報をタイムリーに更新することによってのみ、脳は最も正しい決定を下すことができます。

現在、チームはこの問題に関して新たな進歩を遂げました。同校生物科学科の博士研究員服部龍馬氏と小宮山貴樹教授が主導する新たな研究により、脳がこの動的に更新される情報を処理する詳細なメカニズムが明らかになった。

Neuron 誌に最近掲載された論文の結果によると、RSC 内の更新された情報は、呼び出し可能なリソース ライブラリのように永続化できることが示されています。

この「永続的な情報」は、貴重な信号を最も効率的に表現または「エンコード」することができ、脳のさまざまな領域にまたがることができます。

脳の活動が価値に基づく意思決定をどのように表すかを詳細に研究するために、研究者らは強化学習実験を実施しました。価値判断は人間の脳の重要なメカニズムですが、統合失調症、認知症、依存症などの神経疾患では障害されることが多いです。

実験では、研究者らはマウスに複数の選択肢を与え、マウスの選択に対して一定の確率で報酬を与え、強化学習プロセス中の対応する脳活動を記録しました。

結果として得られたデータとネットワーク シミュレーションは、マウスとその価値判断がどのように表現されるかという継続的なコーディングの重要性と、この活動の中心としての RSC の重要性を指摘しています。

「これらの結果は、情報の符号化は高度に分散しているものの、神経活動に表されるすべての情報があらゆる領域で利用できるわけではないことを示唆している」と研究者らは論文で説明している。「これらの結果は、文脈依存の持続的な情報が信頼性の高い信号符号化を促進し、脳内の情報分布を拡大することを示唆している。」

研究者たちは、情報の持続性によって、価値信号が脳のさまざまな領域、特に脳梁膨大部後皮質に最も効率的にエンコードされることを発見しました。画像提供: カリフォルニア大学サンディエゴ校 小宮山研究室

研究チームの一員であり、論文の著者の一人でもある服部氏は、ニューロンがさまざまな活動パターンを循環させ、一部のニューロンが活発に活動する一方で他のニューロンは沈黙していることはよく知られていると述べた。

服部龍馬

これらの脳活動パターンは、意思決定の価値など、特定のタスク関連情報と関連していることが示されています。 RSC は複数の脳ネットワークと機能をつなぐ中心的な役割を果たしており、新たな発見は 2019 年の発見をさらに強化するものである。

「マウスの脳では、RSC が価値情報の安定した貯蔵庫として機能し、それがマウスの強化学習と意思決定中に価値信号のさらなる処理に重要な他の脳領域に分配されると私たちは考えています。」

服部氏と小宮山氏は、研究結果をさらに検証するために、実験中に記録した10万件以上のマウスの決定を収めた「ビッグデータ」ライブラリを使用した。

研究者らは、コンピューターベースの強化試験における行動戦略を模倣する人工知能（AI）ネットワークをプログラムし、現実世界の実験と非常によく似た結果を得た。

小宮山貴樹

「AIに同じ行動をするように訓練したところ、AIは同じ戦略を使い、神経活動で情報を表現するのに同じ方法を使いました」と小宮山氏は語った。

「これは、私たちが発見したものが、この行動を実行するための神経回路の選択戦略であることを示唆しています。AIとマウスのこの類似性は本当に興味深いです。」