生物学的脳メカニズムを利用して継続的な学習を促し、知的システムの生存を可能にする清華大学の朱俊と他のチームの研究がネイチャーサブジャーナルの表紙に掲載されました。

オープンで、非常にダイナミックで進化する環境で学習する能力は、生物学的知能の中核となる要素の 1 つであり、人間やほとんどの動物が「適者生存」の自然淘汰の過程で発達させた重要な利点です。現在の従来の機械学習パラダイムは、静的で閉じたデータセットでモデルを学習することであり、そのアプリケーション環境は以前にトレーニングされたデータと同じ特性を持つと想定しているため、動的なオープン環境の課題に適応できません。

この問題を解決するために、継続学習は生物知能の学習プロセスと学習能力をシミュレートし、新しい機械学習理論と方法を開発し、継続学習のプロセスを通じて、オープンで高度に動的な環境へのインテリジェントエージェントの適応性を向上させることを目指しています。しかし、現在主流の機械学習モデルは、ネットワークパラメータを調整することで学習します。学習タスクのデータ分布が変化すると、以前に学習したネットワークパラメータが上書きされ、以前の知識が壊滅的に忘却される可能性があります。

人工知能、特にディープラーニングの発展における重要なボトルネックとして、継続学習は近年人工知能の分野で広く注目を集めています。継続学習法のほとんどは、新しいタスクを学習するときに古いタスクを実行するネットワークのパラメータを固定するなど、学習した知識の記憶の安定性を向上させて壊滅的な忘却を克服することに重点を置いています。しかし、これらの方法は通常、特定のシナリオでのみ機能し、生物学的知能のような現実世界の複雑な環境やタスクに普遍的に適応することは困難です。

したがって、生物学的脳の継続的な学習メカニズムから学び、新しい継続的な学習方法を開発することが可能かどうかは、人工知能の分野で常に共通の関心事となっています。

この問題を解決するため、清華大学コンピュータサイエンス学部の朱軍教授のTSAIL研究グループと生命科学学院の鍾怡教授の研究グループは最近、「人工知能における継続的学習のための神経に着想を得た適応性の組み込み」と題する研究論文をNature Machine Intelligence誌に発表した。この論文は12月の表紙記事に選ばれた。

この研究では、ベイズ法を用いて生物学的学習および記憶システムの適応メカニズムを詳細に分析およびモデル化し、ディープニューラルネットワークの継続的な学習能力を大幅に向上させ、動的なオープン環境におけるインテリジェントシステムの適応的発展に関する学際的な洞察を提供しました。

論文リンク: https://www.nature.com/articles/s42256-023-00747

導入

大規模なラベル付きデータの出現とハードウェア機器の計算能力の向上により、ディープラーニングを中核とする人工知能は、コンピュータービジョン、自然言語処理、自動運転、知能ロボットなどの分野で一連の画期的な進歩を遂げてきました。しかし、ディープラーニングは静的なデータ分布に大きく依存しており、動的に変化するデータ分布を継続的に学習することは困難です。

理論的な観点から見ると、継続学習の最適化目標は、メモリの安定性、学習の可塑性、一般化の互換性などのコア要素にさらに絞り込むことができます。常に変化する環境やタスクに適応するために、インテリジェント システムは、古い知識を記憶することと新しい知識を学習することの間で適切なバランスをとる必要があり、データ分布の違いに対応できる十分な一般化機能を備えている必要があります。

図1. 生物知能にヒントを得た継続学習法の模式図（出典：NMI原文）

人間やほとんどの動物は、自然のテンプレートとして、継続的に学習するようにプログラムされています。ショウジョウバエのような単純な生物でさえ、効果的な継続学習を可能にするためにさまざまな適応メカニズムを進化させてきました。ショウジョウバエの学習および記憶システムでは、動的に変化する感覚情報を複数の並列継続学習モジュールで選択的に保護および忘れることができ、人工知能にとって重要な洞察を提供します。

図2. 記憶の選択的保護と忘却のメカニズム（出典：NMI原文）

研究概要

方法論レベルでは、研究者らは、学習した知識を選択的に保護し、忘れるための、生物学にヒントを得た記憶調節法を提案した。この方法は、新しいタスクを学習するときに、パラメータ分布内の古いタスク情報を最適化することでメモリの安定性を促進し、ある程度の忘却率を導入して学習の可塑性を促進します。研究者らはさらに、ニューラルネットワークが新しいタスクと古いタスクの最適解の間で明確なトレードオフを行えるようにするシナプス拡張・再正規化最適化アルゴリズムを導き出し、これに基づいて、機能目標と実装メカニズムの両方で生物学的知能を反映する継続学習の一般化誤差の削減における忘却率の役割を分析しました。

図3. 動的に調整された並列マルチモジュール構造（出典：NMI原文）

同時に、研究者らは、複数の継続的な学習の専門家に対応する、ショウジョウバエの学習・記憶システムに似た並列マルチモジュール構造を構築しました。提案されたメモリ調整メカニズムを各モジュールに実装することにより、メモリが選択的に保護および忘れられるため、各モジュールは適切なタスクの専門知識を区別し、異なるタスクのデータ分布の違いに完全に適応できるようになります。研究者らはまた、ニューラルネットワークのランダム性と学習ルールおよび忘却率の間の相互作用を詳細に調査し、神経系の適応メカニズムは単独で機能するのではなく、高度に協調的であることを証明した。

図4. さまざまな継続学習ベンチマークの実験結果（出典：NMI原文）

視覚や強化タスクを含むさまざまな継続学習ベンチマークにおいて、提案された適応メカニズムはディープニューラルネットワークの継続学習能力を大幅に向上させることができます。さらに、本論文では、忘却の生物学的意義と実行メカニズムの観点から、知能システムと継続的学習の関係を深く探究し、人工知能と生物知能の協調的発展を新たなパラダイムとして推進しています。

図 5. 継続的学習の包括的なレビュー (出典: チームの arxiv 論文 https://arxiv.org/abs/2302.00487)

著者と研究チームについて

清華大学の朱軍教授と鍾毅教授がこの論文の共同責任著者であり、水木学者ポストドクター研究員の王麗源と研究助手張星星がこの論文の共同第一著者である。清華大学のLi Qian研究助手、Su Hang准研究員、ロンドン大学ユニバーシティ・カレッジのZhang Mingtian博士が本論文の共著者です。

清華大学の TSAIL 研究グループは長年にわたり、ベイズ機械学習の理論的およびアルゴリズム的研究に取り組んできました。近年、研究グループは機械学習と神経科学の最先端の進歩を組み合わせて、継続学習の分野で一連の重要な結果を発表しています。今年初め、彼は継続学習分野のレビュー論文「継続学習の総合的調査：理論、方法、応用」を完成させました。これは継続学習の基本設定、理論的基礎、代表的な方法と実用化における研究の進捗状況を体系的に整理し、今後の発展方向を提案するものであり、国内外の人工知能コミュニティから広く注目を集めています。

さらに、継続学習の分野における一般的な技術的困難に対応して、生成モデルの半教師あり継続学習（CVPR'21）、選択的忘却による重み正則化法（NeurIPS'21）、適応型データ圧縮によるメモリ再生法（ICLR'22）、動的並列モジュールによる継続学習アーキテクチャ（ECCV'22）が提案されました。

最近、事前トレーニング済みモデルの継続学習の理論と手法に関する研究論文「プロンプトベースの継続学習の階層的分解：隠された準最適性の再考」が NeurIPS'23 で注目論文として評価されました。この論文では、事前トレーニングのコンテキストで継続学習の最適化目標を階層的に分解し、さまざまな微調整手法 (プロンプト、アダプター、LoRA など) に適した一般的なフレームワークを提案しています。これにより、動的でオープンな環境での事前トレーニング済みモデルの適応性が大幅に向上します。