科学者たちはショウジョウバエの脳をハッキングしてNLPタスクを実行し、BERTよりも効率的であることを発見した。

人工ニューラルネットワークを長い間研究した後、動物の答えをコピーして貼り付ける方が良いのでしょうか?

最近では、ムーアの法則の終焉に関する議論が頻繁に行われています。ディープラーニングのコンピューティング能力に対する要求の高まりと、チップメーカーの「歯磨き粉を絞り出すような」交換速度は、相容れない矛盾を生み出しています。この点に関して、従来のアーキテクチャの効率性の向上に焦点を当てている研究者もいれば、光電子コンピューティング、脳のようなコンピューティング、量子コンピューティングなど、従来のコンピュータ システム以外の領域に注目している研究者もいます。

今、動物からアイデアを得ようとしている人もいます。 1月13日に結果を発表したばかりのトップ人工知能カンファレンスICLR 2021で、ある論文が発表された。研究者らはショウジョウバエのニューラルネットワークを「ハッキング」し、それを使ってNLPアルゴリズムを実行した。その結果、そのパフォーマンスは従来の人工ニューラルネットワークに匹敵し、エネルギー効率が非常に高いことが示された。

この作戦は新たな世界への扉を開くかに思われた。

神経科学において最も集中的に研究されているネットワークの 1 つは、ショウジョウバエの脳、具体的にはキノコ体と呼ばれる部分です。この部分は匂い、温度、湿度、視覚データなどの感覚入力を分析することができ、ショウジョウバエが友好的な刺激と危険な刺激を区別することを学習することができます。神経科学者によると、ショウジョウバエの脳のこの部分は投射ニューロンと呼ばれる細胞群で構成されており、これが感覚情報をケニオン細胞（略してKC）と呼ばれる2,000個のニューロンに伝達し、それらが互いにつながって学習可能な神経ネットワークを形成するという。これにより、ハエは餌や潜在的な交尾相手などに近づく際に、潜在的に有害な感覚入力（危険な匂いや温度など）を避けることを学ぶことができます。

この比較的小さなネットワークの力と柔軟性を見て、神経科学者たちは「他のタスクを解決するようにプログラムできるだろうか？」と考えました。

レンセラー工科大学とMIT-IBMワトソンAI研究所の研究者らがショウジョウバエの脳ネットワークをハッキングして実施した研究では、人間が生物の脳内で自然言語処理などのタスクをうまく実行できた。自然界のニューラルネットワークがこのように利用されたのは初めてのことです。研究者らは、この生物学的脳ネットワークは人工学習ネットワークと同等の性能を発揮するが、使用する計算リソースはより少ないと述べている。

このアプローチは比較的単純です。研究チームはまず、コンピューター プログラムを使用して、キノコ体が依存するネットワーク、つまり約 2,000 個のケニオン細胞にデータを提供する多数のニューロンを再構築しました。その後、研究者らは、テキスト内の単語間の相関関係を識別するようにネットワークをトレーニングしました。このタスクは、単語はその文脈やその近くによく現れる他の単語によって特徴付けられるという考えに基づいています。アイデアとしては、テキストのコーパスから始めて、各単語ごとに、その前後に現れる他の単語を分析することです。

これにより、機械学習システムは、すでに出現した単語に基づいて文中の次の単語を予測できるようになります。このアプローチは、BERT などの多くのシステムで自然な文章を生成するために使用されており、この研究でもこのアプローチを採用しています。自然のネットワークは、この目的のために進化したわけではないにもかかわらず、この目的に非常に優れていることが判明しました。この研究は、ネットワークが単語の意味表現を学習できることを示しています。

研究者らは、ショウジョウバエの脳ネットワークは既存の自然言語処理方法に匹敵し、最も重要なのは、生物学的ネットワークがコンピューティングリソースのほんの一部しか使用しないことだと言う。つまり、トレーニング時間とメモリ使用量が少なくなります。

生物学的効率

これは興味深い結果です。 「我々はこの結果を、従来の非生物学的アルゴリズムよりも効率的である、生物にヒントを得たアルゴリズムの一般化可能性の一例と見ている」と論文の著者であるユーチェン・リャン氏らは述べた。

この研究は、生物学的コンピューティングの効率性を実証するだけでなく、いくつかの興味深い疑問も提起しています。最も明白なのは、「なぜ生物学的ニューラル ネットワークは計算効率がそれほど高いのか?」ということです。もちろん、進化論によれば、自然は生き残るために、より効率的な神経ネットワークを選択することになるが、論文の中で研究者らは、ケニヨン細胞がなぜそれほど効率的なのかという独自の見解をまだ示していない。

この研究は、他の生物の脳に「侵入」するという方向性も切り開くものと思われる。しかし、まだ課題がいくつかあるようです。 1 つの潜在的な問題は、神経科学者がまだより複雑な脳 (哺乳類など) を特徴付けるのが難しいと感じていることです。ショウジョウバエの脳は、ニューロンが 10 万個しかないため、マウスの脳の 1 億個、人間の脳の 1,000 億個と比べると比較的小さいです。したがって、マウス、イルカ、または人間の脳が「ハッキング」されるのを目にするまでには、まだしばらく時間がかかるでしょう。

研究概要

論文: ミバエは単語の埋め込みを学習できるか?

論文リンク: https://openreview.net/forum?id=xfmSoxdxFCG

ショウジョウバエの脳のキノコ体は神経科学で最も研究されているシステムの一つで、その中心はケニオン細胞のグループで構成されています。これらの細胞は複数の感覚様式から入力を受け取り、GABA 作動性ニューロン (前側方対側ニューロン、APL ニューロン) によって抑制され、入力のスパースな高次元表現を作成します。

具体的には、その主な知覚モードは嗅覚ですが、温度、湿度、視覚を感知するニューロンからの入力もあります。これらの入力は、シナプス重みのセットを介して約 2,000 個のケニオン細胞に送信されます。ケニオン細胞は APL ニューロンを介して相互接続されており、APL ニューロンはケニオン細胞に強力な抑制信号を送ります。この再帰ネットワークは、ケニオン細胞間で勝者総取り効果を生み出し、少数の「チャンピオン」ニューロンを除くすべてのニューロンを沈黙させます。

この論文では、研究者らはネットワークモチーフを数学的にモデル化し、それを一般的な NLP タスク、つまり非構造化テキストコーパス内の単語と朝と午後の相関構造を学習するタスクに適用しました。

本研究で提案されたネットワークモチーフを図 1 に示します。KC はキノコ体出力ニューロン (MBON) にも出力を送信しますが、キノコ体ネットワークのこの部分は数学モデルには含まれていません。

図 1: ネットワーク アーキテクチャ図。異なるモダリティに対応する複数のニューロン グループが KC 層に活動を送信し、KC 層は APL ニューロンとの相互接続によって抑制されます。

一般的に、研究の貢献は次のとおりです。

研究者らは、ショウジョウバエのネットワークにヒントを得て、単語とその文脈に対して連続的ではなくバイナリの単語埋め込みを生成することを可能にするアルゴリズムを提案し、語彙の類似性、語義の曖昧さ解消、テキスト分類などのタスクにおけるアルゴリズムのパフォーマンスを体系的に評価しました。

連続的な GloVe 埋め込みと比較して、バイナリ埋め込みはより緊密で適切に分離された概念クラスターを生成し、GloVe のバイナリ化バージョンのクラスタリング特性に準拠します。

研究者らは、ショウジョウバエのネットワークをトレーニングするために必要な計算時間は、従来の NLP アーキテクチャ (BERT など) をトレーニングするために必要な計算時間よりも桁違いに短いが、分類精度は低下することを発見しました。

この成果は、人間が自然のアルゴリズムと行動を「再プログラム」し、元の生物が関与したことのないタスクを対象としたアルゴリズムに変換する大きな可能性を示しています。

実験結果

論文の第 3 章では、研究者らは、静的な単語の埋め込み、単語のクラスタリング、コンテキストに関連した単語の埋め込み、テキスト分類など、いくつかの側面から提案されたネットワークを評価しました。以下は実験結果です。

静的単語埋め込みの評価

単語クラスタリング

文脈的単語埋め込み

テキスト分類

計算効率

論文著者

この記事の筆頭著者である梁宇辰氏は、浙江大学で学士号を取得し、コロンビア大学で修士号を取得しました。現在は、米国のレンセラー工科大学で博士課程に在籍しています。彼の研究対象には、データマイニングと機械学習技術が含まれます。