睡眠研究はより優れた AI モデルの作成に役立ちますか?

私たちはなぜ眠るのでしょうか? 明らかな理由の一つは、体と手足の力を回復することです。しかし、睡眠のもう一つの非常に重要な役割は、記憶を統合し、起きている間に脳が取り入れたすべての情報を整理することです。適切な睡眠が不足している人は、認知力が低下し、記憶力が低下します。

[[324235]]

睡眠の不思議と謎は、今も活発に研究されている分野です。睡眠研究は、医学、心理学、神経科学に加えて、他の科学分野でも活用できます。 AI 研究者たちは、より長期間にわたってデータをより効率的に処理できる AI モデルを開発するために、この分野で行われた研究も研究しています。

DeepMind の AI 研究者による最近の研究では、脳と睡眠のメカニズムに関する研究を活用して、自然言語処理 (NLP) における基本的な課題である長期記憶の処理に取り組んでいることが示されています。

人工知能は言語記憶に苦戦

人間の脳は記憶を整理する非常に興味深い方法を持っています。長期にわたってさまざまな考え方を管理することができます。次の仮説的な例を考えてみましょう。あなたは朝起きて、認知科学に関する本を 45 分間読みます。 1 時間後、ニュースを閲覧し、いくつかのニュース記事を読みました。午後は、数日前に始めた AI 研究論文の作業を続行し、将来の記事のためにメモを取ります。毎日のワークアウト中に、科学のポッドキャストやオーディオブックを聴きます。夜、寝る前にファンタジー小説を開いて、前夜に中断したところから読み始めます。

これをするのに天才である必要はありません。実際、私たちのほとんどは毎日多種多様な情報を処理しています。興味深いのは、私たちの脳がこの情報を保存し、管理することができ、1日、数週間、数か月、さらには数年という非常に長い期間にわたってそれを実行できることです。

近年、AI アルゴリズムは徐々に長いデータ ストリームを追跡する能力が向上していますが、人間の脳のスキルに匹敵するにはまだ長い道のりがあります。

言語を処理するための古典的な機械学習構造は、データの時間的一貫性を処理するように設計された人工ニューラル ネットワークの一種であるリカレント ニューラル ネットワーク (RNN) です。データのコーパス（Wikipedia 記事の大規模なデータセットなど）でトレーニングされた RNN は、シーケンス内の次の単語を予測したり、質問に対する回答を見つけたりするなどのタスクを実行できます。

RNN の初期バージョンの問題は、情報の処理に必要なメモリの量でした。 AI モデルが処理できるデータ シーケンスが長くなるほど、必要なメモリも多くなります。この制限は主に、人間の脳とは異なり、ニューラル ネットワークはどのデータを保持すべきか、どのデータを破棄できるかを認識できないために生じます。

重要な情報を抽出する

考えてみてください。『ロード・オブ・ザ・リング』のような小説を読むとき、脳はすべての単語や文章を記憶するわけではありません。これは、キャラクター (フロド、ガンダルフ、サウロンなど)、キャラクターの関係 (ボロミアはフロドのほぼ友人であるなど)、場所 (裂け谷、モルドール、ローハンなど)、オブジェクト (一つの指輪とウリエルなど)、主要なイベント (フロドが一つの指輪を滅びの山の中心に投げ込む、ガンダルフがハザードダムの深淵に落ちる、ヘルムの戦いなど)、そしておそらくストーリーの中で非常に重要なセリフ (光り輝くものがすべて金であるとは限らない、さまようものすべてが迷うわけではないなど) を含む、ストーリーから意味のある情報を抽出するように最適化されています。

このわずかな量の情報は、全 4 冊の本 (『ホビット』と『指輪物語』全 3 巻) と 576,459 語にわたるストーリーの筋書きを追うために極めて重要です。

AI 科学者や研究者は、同様に効率的な情報処理のためにニューラル ネットワークを組み込む方法を見つけようとしてきました。この分野における大きな成果は、ニューラル ネットワークがデータのより重要な部分を発見して集中できるようにする「注意」メカニズムの開発です。注意により、ニューラル ネットワークはより効率的に大量の情報を処理できるようになります。

トランスフォーマーは、近年ますます人気が高まっているニューラル ネットワークの一種です。トランスフォーマーは、意図メカニズムを効果的に活用し、AI 研究者がますます大規模な言語モデルを作成できるようにしています。例としては、40GBのテキストでトレーニングされたOpenAIのGPT-2テキストジェネレーター、341GBのコーパスでトレーニングされたGoogleのMeenaチャットボット、科学的な質問に答えるために300GBのデータでトレーニングされたディープラーニングアルゴリズムであるAI2のAristoなどが挙げられます。

これらの言語モデルはすべて、以前の AI アルゴリズムよりも長いテキストシーケンスにわたって、驚くほど一貫したパフォーマンスを示します。 GPT-2 は、多くの場合 (常にではありませんが) 複数の段落にまたがるかなり一貫性のあるテキストを作成できます。 Meena はまだリリースされていませんが、Google が提供しているサンプル データは、単純なクエリだけでなく、会話でも興味深い結果を示しています。 Aristo は、科学的な質問に答える点では他の AI モデルよりも優れていました (複数選択の質問にしか答えられないにもかかわらず)。

しかし、言語処理 AI にはまだ改善の余地が大いにあることは明らかです。現在、より大規模なニューラル ネットワークを作成し、それにさらに大規模なデータセットを投入することで、この分野を改善しようという動きが続いています。言語の基礎を学ぶために、私たちの脳には何百ギガバイトものデータを取り込む必要はなく、またその能力もないことは明らかです。

睡眠からインスピレーションを得る

私たちの脳内で記憶が形成されるとき、それは脳のさまざまな部分にコード化された感覚活動と認知活動の寄せ集めとして始まります。これは短期記憶です。神経科学の研究によると、海馬は脳のさまざまな部分のニューロンから活性化情報を収集し、それを記憶としてアクセス可能な形で記録します。また、それらの記憶を再活性化させる手がかり（名前、匂い、音、光景など）も保存します。記憶は活性化されるほど、より強力になります。

『Your Brain On Sleep』の著者マーク・ディングマン氏によると、「研究により、最初の経験中にオンになった同じニューロンが深い睡眠中に再活性化されることがわかっています。これにより、神経科学者は、睡眠中に私たちの脳は前日の重要な記憶を長期記憶に移すように働いているという仮説を立てました。」

DeepMind の AI 研究者は睡眠からヒントを得て、長期記憶に適した言語モデルである Compression Transformer を作成した。 「睡眠は記憶にとって不可欠であり、記憶を圧縮して統合するのに役立つと考えられており、それによって記憶課題の推論能力が向上する。」モデルが一連の入力を通過すると、エピソード記憶に似た粒度の細かい記憶がオンラインで収集されます。時間が経つと、最終的には圧縮されてしまいます。 「研究者たちは圧縮トランスフォーマーに関するブログ投稿にこう書いている。

他のトランスフォーマー バリアントと同様に、圧縮トランスフォーマーはアテンション メカニズムを使用して、シーケンス内の関連するデータ ビットを選択します。しかし、AI モデルは古いメモリを破棄するのではなく、重要な部分を保持して圧縮されたメモリ位置に保存することで、無関係な部分を削除し、残りを結合します。

DeepMind によれば、Compressive Transformer は、一般的な自然言語 AI ベンチマークで最先端のパフォーマンスを実証しました。 「音声モデリングに効果的に使用でき、特に珍しい単語をうまく処理し、強化学習エージェントで記憶タスクを解決するために使用できることも示しています」とAI研究者らは書いている。

しかし重要なのは、AI によって長いテキストのモデリングのパフォーマンスが向上することです。 「このモデルの条件付けされたサンプルは、本のような抜粋を書くために使用できる」とディープマインドの研究者は書いている。

ブログ投稿と論文には、Compressive Transformer の出力のサンプルが含まれていますが、この分野で行われている他の作業と比較して非常に印象的です。

言語はまだ解決されていない

圧縮とアーカイブは異なる概念です。これが何を意味するのかを確認するために、『ロード・オブ・ザ・リング』の例に戻りましょう。たとえば、エルロンドの家で会議が開かれる章を読んだ後、出席者の間で交わされたすべての言葉を必ずしも覚えているわけではありません。しかし、重要なことを一つ覚えておいてください。皆が指輪の運命をどう決めるか議論している間に、フロドが前に出て、指輪を滅びの山に投げ込む責任を引き受けたのです。つまり、情報を圧縮するために、脳は記憶を保存するときに記憶を変化させるようです。この変化は記憶が古くなるにつれて続きます。

どうやら、圧縮トランスフォーマーが圧縮メモリ セグメントに格納する必要がある関連部分を見つけることができるようにする、何らかのパターン認識があるようです。ただし、これらのデータ ビットが上記の例で説明した要素と同等であるかどうかはまだわかりません。

ディープラーニング アルゴリズムを使用して人間の言語を処理する際の課題は、十分に文書化されています。統計的手法では、大量のデータから興味深い相関関係やパターンを見つけることができますが、テキストを超えた理解を必要とする微妙なタスクは実行できません。 抽象化、常識、背景知識、そしてギャップを埋めて言葉の背後にある暗黙の意味を抽出できる知能の他の側面などは、現在の AI アプローチでは依然として実現不可能なままです。

コンピューター科学者のメラニー・ミッチェルは著書『人工知能：考える人間へのガイド』の中で、「機械が処理する言語を実際に理解することなく、オンライン データから学習するだけで、翻訳や読解などで人間レベルのパフォーマンスを達成するのは不可能だと思われます。言語は常識と世界に対する理解に依存します」と説明しています。

これらの要素を追加することで、AI モデルは言語の不確実性に対処できるようになります。 「いくつかの短い文を除けば、耳にする文のほとんどすべてがオリジナルです」と認知科学者のゲイリー・マーカスは言う。「直接的なデータがないのです。つまり、推論と理解に問題があるということです。物事を分類し、すでに知っている枠に当てはめるのに役立つ技術は、単純にその作業には適していません。言語を理解するということは、世界についてすでに知っていることと、誰かが言ったり行ったりしてしようとしていることを結び付けることです。」

「統計は現実世界を理解することの代わりではない」とマーカス氏と共著者のニューヨーク大学教授アーネスト・デイビス氏は『Rebooting AI』の中で書いている。「問題は、いたるところにランダムエラーがあるということだけではなく、翻訳要件を満たす統計分析モデルと、システムがそれらを真に理解するために必要な認知モデル構築との間に根本的な不一致があることだ」

しかし、圧縮技術は人工知能や言語モデルの研究における新たな方向性を見つけるのに役立つかもしれません。 「日、月、年をまたいで経験的に関連性のある関係を捉えることができるモデルが間もなく登場します。私たちは、時間の経過とともに推論するためのより強力な経路は、過去に対するより優れた選択的注意と、より効果的な圧縮メカニズムから生まれると考えています」とディープマインドの AI 研究者は書いています。