脳をシミュレートする NLP、クヌース賞受賞: 文解析のためのニューロン集団計算

[[402907]]

先週、Google Research はディープラーニングにおける概念理解に関するウェビナーを開催しました。シンポジウムでは、受賞歴のあるコンピューター科学者や神経科学者によるプレゼンテーションが行われ、ディープラーニングと神経科学における新たな発見が、より優れた AI システムの構築にどのように役立つかについて議論されました。

すべての講演と議論が非常に価値あるものであったが、特に際立っていて共有する価値があるトピックが 1 つあった。それは、ゲーデル賞とクヌース賞の受賞者であり、コロンビア大学のコンピューター サイエンスの教授でもある世界有数のコンピューター サイエンス理論家、クリストス パパディミトリウ氏が「脳内の単語表現」について講演したことだ。

パパディミトリオ氏は講演の中で、脳内の情報処理に関する理解が深まることで、会話をより強力に理解し、会話に参加できるアルゴリズムの作成にどのように役立つかについて説明しました。具体的には、脳のさまざまな領域が相互に通信して認知問題を解決する仕組みを説明する、シンプルでありながら強力なモデルを提案しました。

「今起きていることは、おそらく世界最大の奇跡の一つだ」とパパディミトリウ氏は、観客とのつながり方について語った。脳は構造化された知識を電波に変換し、それがさまざまな媒体を介して伝達されて聞き手の耳に届き、その後脳によって処理されて構造化された知識に変換されます。

「これらすべてがニューロンとシナプスを通じて起こることは間違いありません。しかし、それはどのように起こるのでしょうか。それが問題なのです」とパパディミトリウ氏は言う。「今後10年で、詳細についてさらに理解が深まると確信しています。」

脳内のニューロンの集合

認知科学と神経科学の分野では、脳内の神経活動がどのようにして言語、数学、論理、推論などの機能に変換されるのかを解明しようとしています。科学者が数学モデルを使用して脳の働きを説明することに成功すれば、人間の思考を模倣できる AI システムを作成するための新たな扉が開かれることになる。

多くの研究は個々のニューロンに焦点を当てており、数十年前まで科学者は個々のニューロンが個々の思考に対応していると信じていました。最も有名な例は「祖母細胞理論」で、これは各人の脳内に祖母を認識するように特別に設計された特別な神経細胞があるという説である。しかし、最近の調査結果はこの主張を否定している。新しい研究では、それぞれの概念には多数のニューロンが関連付けられており、異なる概念を結び付けるニューロン間には重複がある可能性があると主張し、証明しています。

これらの脳細胞のグループはアセンブリと呼ばれ、パパディミトリウはこれを単語、アイデア、オブジェクトなどを表す高度に接続された安定したニューロンのグループであると説明しています。

神経科学者のジェルジ・ブザキ氏は、このコレクションを「脳のアルファベット」と表現しています。

脳の数学的モデル

集団行動をより深く理解するために、パパディミトリウは「相互作用する再帰ネットワーク」と呼ばれる脳の数学的モデルを提唱した。このモデルでは、脳は有限の数の領域に分割され、各領域には数百万個のニューロンが含まれています。各領域内にはループがあり、ニューロンが相互に作用していることを意味します。これらの各エリアは、他のいくつかのエリアと接続しています。これらの領域間の接続は興奮性または抑制性のいずれかになります。

このモデルは確率性、可塑性、抑制を特徴とします。確率性とは、脳の各領域のニューロンがランダムに接続されていることを意味します。さらに、異なる領域がランダムに接続されます。可塑性により、経験と訓練を通じてニューロンと領域間の接続を調整できますが、抑制により、特定の瞬間に限られた数のニューロンが発火することになります。

パパディミトリウはこれを、生命の 3 つの主な力に基づいた非常に単純な数学モデルとして説明しています。

パパディミトリウ氏は、さまざまな学術機関の科学者チームとともに、昨年発表した論文でこのモデルの詳細を説明した。セットはモデルの重要なコンポーネントであり、科学者が「アセンブリ計算」と呼ぶ、情報の処理、保存、および取得を可能にする一連の操作を実装します。

論文の宛先:
https://www.pnas.org/content/117/25/14464

「これらの行動は真空中で起きているわけではありません。これらは現実のものであり、これらの操作が実際の行動に対応していることは数学的に証明でき、シミュレーションを通じて検証できると私は信じています。これらの操作は[脳内で]観察された行動に対応しています」とパパディミトリウ氏は語った。

パパディミトリウ氏とその同僚は、集合と集合計算が推論、計画、言語などの脳の認知機能を説明するのに適したモデルであるという仮説を立てました。 「ほとんどの認知能力はこの説明に当てはまる」と彼はグーグルのディープラーニングカンファレンスでの講演で語った。

集合計算に基づく自然言語処理

この考え方をテストするために、パパディミトリウ氏とその同僚は、集合計算を使用して英語の文章を解析する自然言語処理システムを構築しました。実際に彼らは、語彙と言語理解を司る脳の集合領域を模倣した AI システムを作成しようとしている。

「単語のシーケンスがコレクションを起動すると、エンジンは文の解析を生成します」とパパディミトリウ氏は述べた。彼は、AIモデルはまだ初歩的で、言語の重要な部分の多くを欠いていることを認めた。研究者たちは、既存の言語のギャップを埋めるための計画を策定している。しかし彼らは、これらすべての部分は集合計算によって補完できると信じており、これは時間をかけて検証する必要がある仮説です。

「これが言語の神経的基礎なのでしょうか？これは左脳に生まれつき備わっているものなのでしょうか？」とパパディミトリウ氏は問う。言語が人間の脳内でどのように機能し、他の認知機能とどのように関連しているかについては、まだ多くの疑問が残っています。しかしパパディミトリウ氏は、アンサンブルモデルによってこれらの機能の理解が深まり、残された疑問に答えられるようになると主張している。