アカデミー会員焦力成: 進化最適化とディープラーニングに関する考察

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

2021年12月17日、西安市大学人工知能学院教授、欧州科学アカデミー外国人院士、IEEEフェローの焦立成氏が、2021年中国コンピューター大会の「次世代進化コンピューティングの発展動向」フォーラムに招待され、 「進化的最適化とディープラーニングに関する考察」と題する基調講演を行った。

報告書の中で、焦立成氏は「進化」の発展の起源と思想の起源を整理し、人工知能の現在の学術的欠陥と実践上の困難を指摘し、脳の観点から解決策を提示した。

「ニューラル ネットワークは、現在の意味での重みを調整するものではありません。その構造は、変更可能、可塑性、学習可能、動的である必要があります。脳のような知覚のプロセスでは、脳の報酬と罰、学習、情報表現メカニズム、およびシナプスの学習、記憶、再生、および発達メカニズムが、情報の再構築、エンコード、および処理において重要な役割を果たします。上記の特性は、既存のディープ ネットワークでは真剣に考慮されていません。」

以下は、AI Technology Review が編集したレポート全文です。

本日の講演は主に、発展の起源と思想の起源、進化的最適化と学習、脳のような表現学習と最適化、進化的最適化と深層表現学習、そして考察と課題の5つの部分に分かれています。

人工知能は過去数十年で大きな進歩を遂げており、進化的最適化と脳にヒントを得たディープラーニングは現在の人工知能技術の中核となっています。人工知能技術を開発するには、脳を使って知識と自然な進化のアイデアを処理することが鍵となります。これら 2 つのアイデアの発展は、長年にわたって授与されてきた科学賞を通じて垣間見ることができます。

たとえば、脳科学のノーベル賞を振り返ることで「人間がどのように考えるか」を理解することができ、チューリング賞を振り返ることで「機械がどのように学習し、推論するか」について議論することができ、長年にわたる生物学関連のノーベル賞を理解することで「生物がどのように選択し、最適化するか」についてインスピレーションを得ることができます。では、この研究は現在の人工知能技術の発展にどのような影響を与えるのでしょうか?

実際、現在の学者が人工知能を使用して実用的な問題を解決する方法は、次のステップに分けることができます：シンボルを導き出す機械学習 => ディープラーニング => ディープ強化学習（知覚 + 意思決定） => ディープ転移学習（環境適応） => ディープメタ学習（自動学習）。このステップに関して、学者の徐宗本氏はかつて機械自動学習について次のように説明しました。

「機械学習の自動化：まず、データ レベルでは、データ サンプルを自己生成し、自己選択する必要があります。次に、モデル アルゴリズム レベルでは、モデル アルゴリズムを自己構築し、自己設計する必要があります。最後に、環境タスク レベルでは、環境タスクを自己適応および自己変換可能にする必要があります。人工知能の開発軌道は、手動から自動化、そして自律型インテリジェンスへと進む必要があります。」

この文章から、これらのステップは密接に関連しており、各層は前の層よりも困難になっていることもわかります。では、このパスをより効果的に最適化するにはどうすればよいでしょうか。

1進化的最適化の起源

進化的最適化の考え方は、非常に古い時代に生まれました。ダーウィンが提唱したグローバル最適化と、ラマルクとバンドウィンが提唱したローカル学習は、進化的アルゴリズムに関する今日の学術的思考の基礎を築きました。進化学習の文脈では、組織化されていないマシンが進化、学習、フィードバックの道筋を通じて一般的な機械学習の方法を見つけることができることを期待しています。

1948 年、チューリングは報告書「インテリジェント マシン」の中で、幼児から成人に至るまで、人間の大脳皮質は非組織的なマシンから汎用マシンへと進化していると指摘しました。その後、進化的最適化は次の 4 つの基本的な分野に発展しました。

• 進化プログラミング: 1960 年に、LJFogel は、自然進化におけるグループレベルの行動変化を重視した、幅広い人工知能マシンを生成するための学習プロセスとして進化をシミュレートすることを提案しました。
• 進化戦略: 1964 年、ドイツのベルリン工科大学の 2 人の学生、L. レッヒェンベルクと H. シュヴェフェルが、生物学的変異と選択に基づく進化戦略を提唱しました。
• 遺伝的アルゴリズム: 1975 年に、JH Holland は、CR Darwin の生物進化論と GJ Mendels の遺伝法則に基づいて遺伝的アルゴリズムを提案しました。
• 遺伝的プログラミング: 1980 年に SF Smith が遺伝的適応アルゴリズムに基づく学習システムを提案し、JR Koza が「遺伝的プログラミング: 自然選択によるコンピューターのプログラミング」を執筆しました。

進化計算の考え方に基づいて、科学者たちはその動的プロセス、つまり群知能を設計しました。群知能は混沌とした状態から始まり、価値に触発された情報を通じて法則、パターン、知識を探索し、最終的に解決策を得ることができます。そのプロセスは、動的進化プロセスを通じて確率 1 でグローバル最適解に収束することであり、その特性はランダム性、非線形性、エルゴード性、自己組織化、適応性、多様性、安定性、および高い並列性です。

上図に示すように、群知能のアイデアは非常に早くから生まれており、その代表的な手法としては、アリコロニー最適化、粒子群最適化、免疫アルゴリズム、ホタルアルゴリズムなどがあります。進化的最適化を使用して複雑な問題を解決する場合、主にその並列性、特異性、容易な変更可能性、高い非線形性、および幅広い適用性を活用し、NP 困難な問題と組み合わせ爆発の問題に対応します。

さらに、進化的最適化アルゴリズムの開発過程において、自然免疫学の理論は人工免疫の進化的最適化のための強固な理論的基礎を提供します。負の情報表現アルゴリズムから免疫進化アルゴリズム、さらに人工免疫ネットワーク、クローン選択アルゴリズム、樹状細胞アルゴリズムに至るまで、進化最適化アルゴリズムは「事前の知識を活用し、フォールトトレラント、免疫、堅牢性」という特徴を持ち、実際の問題に近づき、ダイナミクスにおける最適解を模索することができます。

生物学的免疫もこの点を証明しており、ノーベル生物学賞の分野も新しいアルゴリズムの開発のための強固な理論的基礎を提供しています。 「記憶で学習し、忘却を加速する」ことで、最適解アルゴリズムがより効果的になり、適者生存の基本的な考え方に準拠します。

人工免疫システムモデルの特徴は、学習と記憶、多様性、分散、フォールトトレランス、受動免疫です。これは、効率的で堅牢かつフォールトトレラントなアルゴリズムを構築するための生物学的基礎も提供します。人工免疫システムの手法はさまざまな分野で応用され、非常に優れた成果を上げています。進化コンピューティングやディープラーニングと組み合わせて、この分野の発展を共同で推進できることを期待しています。

進化について語るとき、脳のような知覚と認知、ニューラル ネットワーク、ディープラーニングを避けることはできません。 2021年のノーベル医学賞は、デビッド・ジュリアスとアルデム・パタプーティアンに授与されました。当時の受賞理由は次の通りです。

人間の体が持つ、熱さ、寒さ、触覚を感知する能力は、私たちの生存に不可欠であり、周囲の世界との関わりの基盤となっています。彼らは「温度と触覚の受容器」を発見した。

このことから、「脳のような知覚と認知の研究は非常に有意義である」ということが明らかになります。脳のような知覚から認知に至る過程は長く、認知科学は心とそのプロセスを学際的に研究する学際科学です。知覚には視覚、聴覚、触覚、味覚などが含まれ、認知は理解、思考、推論、意思決定を教えてくれるので、心とそのプロセスを正確かつ包括的に観察する方法は認知科学の基礎であり、大きな課題でもあります。トマソ・A・ポッジョ教授は、人工知能における過去のブレークスルーは神経科学から生まれ、将来のブレークスルーも神経科学から生まれると考えています。

2.脳表現の学習と最適化

脳のような知覚と認知を思い出すには、まず脳の生物学的メカニズムと基本的な特性を理解する必要があります。上の図に示すように、人間の脳の 6 つの特性、すなわち、希薄性、学習性、選択性、方向性、知識、多様性は、過去 20 年間の生物界における最新の発見です。

• スパース性: 1996 年に、オルシャウゼンとフィールドは、ニューロンのスパース コーディング理論を提唱する記事を Nature に発表しました。2007 年に、スヴォボダとブレヒトは、マウスの実験を使用してニューロンの「スパース コーディング」仮説を検証した論文を Science に発表しました。
• 学習可能性: 2011 年、MIT の学者 Tenenbaum 氏と CMU、バークレー、スタンフォード大学の研究者らは、人間は少量のデータから一般化された知識を学習できること、つまり「抽象的な知識」を学習する能力があることを Science 誌で指摘しました。
• 選択性: 2011 年に Pieter.R らは Science 誌に論文を発表し、実験によりサルの脳細胞が注意領域を自律的に制御する能力を持っていることが示されていると提唱しました。2012 年に Xilin Zhang は Neuron 誌に論文を発表し、視覚情報処理の初期段階に重要な注意メカニズムが存在すると提唱しました。
• 方向性: 2015 年、アーセニー・フィンケルシュタインは「ネイチャー」誌で、生物の脳には方向と位置情報を知覚できる方位角細胞と傾斜細胞があると指摘しました。2020 年には、ジョシュア・ヤコブシらが「ニューロン」誌で、人間の脳の内側前頭葉に自己中心的空間位置決めの神経コーディングパターンが見つかったという見解を発表しました。このニューロン集団は空間記憶とエピソード記憶において重要な役割を果たします。

現在のディープラーニングは、大規模なニューロンの並列性のみに基づいており、フォワードネットワークに重点を置いていますが、ニューロン間のフィードバック接続についてはあまり研究されていません。したがって、マクロレベル、メソスコピックレベル、ミクロレベルのいずれであっても、脳のような知覚と認識を実現するには、「もう一度始め」、上記のメカニズムと特性を使用して、分析、シミュレーション、モデルの構築を行う必要があります。

ニューラル ネットワークの開発には長い歴史があり、上の図は著名な貢献者の一部を示しています。たとえば、生物学的ニューロンの最も初期の提案者、MP ニューロン モデルの提案者、パーセプトロンの提案者、連続ニューロンの提案者、そして後にミンスキーは、パーセプトロンは線形分離可能な問題しか解けず、非線形 XOR 問題は解けないと提案しました。

ニューラル ネットワークの分野における他の学者の貢献はさらに顕著で貴重です。たとえば、グロスバーグ夫妻は、適応共鳴マシン理論と 3 つの ART システムを提案するために生涯を費やしました。

中国レベルでは、発達ニューロンモデルを提唱した呉文軍氏、視覚経路における三色伝導理論を提唱した張向同氏、パターン認識の創始者傅景孫氏、メモリスタ、チュア回路、細胞神経ネットワークなどの理論を提唱した蔡紹堂氏が、ニューラルネットワークの発展に多大な貢献をしてきました。

生物学の分野における Guo Aike、Chen Lin、Pu Muming などの学者の研究が、ニューラル ネットワークの確立に優れた基盤を提供したことは特筆に値します。

先人たちの努力を決して忘れてはなりません。現代の中国の学者もその努力を引き継いでいます。彼らの優れた学術研究により、中国は国際的にさらに影響力を持つようになりました。

さらに、2021年には、深層畳み込みネットワークの発明者である日本の学者、福島邦彦氏が、人工知能の発展に重要な貢献をした初の深層畳み込みニューラルネットワーク「ネオコグニトロン」の発明を通じて、神経科学の原理を工学に応用した先駆的な研究が認められ、バウアー賞を受賞しました。 LeCun 氏はまた、次のようにコメントしています。「1980 年の福島邦彦教授の畳み込みネットワークの研究は、彼に大きなインスピレーションを与え、それがきっかけで、1989 年に CCN が、1998 年に LeNet が提案されました。」

人工知能の発展はディープラーニングの台頭と切り離せないものです。1943年、1944年、1949年から今日に至るまで、人工知能は数々の浮き沈みを経験してきました。 BP アルゴリズムの出現により、ニューラル ネットワークが多層ネットワークを学習できるようになったことは特筆に値します。これは、ある意味で「単層パーセプトロンは非線形分離性を解決できない」というミンスキーの問題に答えるものです。

BP アルゴリズムは 1974 年に登場し、P. Werbos がハーバード大学の博士論文で初めて詳細な数学的導出を示しました。その後、多くの学者がそれに基づいて改良を加え、今日のニューラルネットワークの開発につながりました。フランシス・クリックの2021年の最新研究は、次のように指摘している。「脳がバックプロパゲーション、つまりBPがシナプスの重みに関する情報をコピーまたは送信して更新することは実際には考えにくいが、生物学的ネットワークでは、ニューロンは他のニューロンからの出力情報しか受信できず、シナプスの重みや内部プロセスは受信できない。」この発見は、フィードバック比較、予測コーディング、錐体ニューロン、注意メカニズムなど、生物学的にもっと意味のある学習メカニズムがバックプロパゲーションメカニズムに取って代わる可能性があることも示しています。

したがって、ニューラル ネットワークは、現在の意味での重みを調整するだけでなく、より重要なことに、その構造が変更可能、可塑性、学習可能、動的である必要があります。これらの特性は、現在、ディープ ネットワークでは重視されていません。

同様に、脳のような知覚のプロセスでは、報酬と罰のメカニズム、学習のメカニズム、情報表現のメカニズム、再生と発達のメカニズムなどが、情報の再構築、記憶のエンコードと処理において重要な役割を果たします。現在、これらの機能はディープ ニューラル ネットワークでもあまり考慮されていません。

人工知能における「特徴エンジニアリング」、「特徴検索」、「表現学習」という用語は、「ビッグデータ駆動型表現学習」および「ビッグデータと事前知識駆動型表現学習」に置き換えるべきであり、明らかに意味が深い。

認知モデリング、自動学習、段階的進化を研究する過程で、環境の変化、自然進化、学習ダイナミクスを組み合わせる必要があります。これにより、認知、学習、最適化、計算、認識の分野で新しいモデル、新しいアルゴリズムを構築し、新しい潜在的な道を革新することができます。

現在、私たちは物理的なウィシャート分極特性と脳のスパース性を組み合わせ、ターゲット情報を迅速に抽出するための非線形スパース変換ネットワークであるウィシャートディープスタッキングネットワーク（W-DSN）を提案しています。私たちは、ノイズが未知の場合にターゲットデータの高レベルの意味的特徴を自動的に抽出し、自動的、効率的、正確な分類を実現できる、基本的な高速知覚と高レベルの階層的知覚モジュールを設計しました。

もう 1 つの研究では、物理的特徴、脳のスパース特徴、およびマルチスケール特徴を畳み込みニューラル ネットワークと組み合わせ、スパース、方向性、およびマルチ不変スケール特徴の抽出と表現の問題を解決する Contourlet 畳み込みニューラル ネットワークを提案しています。

3進化的最適化と深層表現学習

ニューラルネットワークの進化を含む人間の脳の進化は、実際にはパラメータの進化、ハイパーパラメータの調整、構造の進化、動的プロセスです。進化アルゴリズムは、実際には人工から自動への画期的な進歩です。ディープラーニングと進化を組み合わせることで、機械学習に自動進化の能力を持たせることができるかもしれません。

深層研究と進化研究を組み合わせることには 2 つの利点があります。まず、進化は、深層ネットワーク構造、重み、パラメータなどを最適化するという科学的問題を解決します。次に、進化的探索の効率性が低く複雑性が高いという科学的問題を深く解決します。具体的には、ディープラーニングは、進化的コンピューティングにおける収束の遅さ、ソリューションの多様性の低下、品質の低さといった問題を改善します。

たとえば、ディープ ニューラル ネットワークは、問題の特性を表現し、集団の多様性を維持するために使用されます。また、ディープ ニューラル ネットワークは、高価な適応度評価プロセスを置き換えます。さらに、ディープ ニューラル ネットワークは、進化コンピューティングのソリューション選択メカニズムを学習するために使用されます。

進化コンピューティングとディープラーニングの組み合わせは、非線形性、小規模サンプル、ビッグデータ、高次元、組み合わせ爆発などの複雑な問題を自動的に解決する上で大きな可能性を秘めています。この分野の代表的な研究は「Neural Architecture Evolution Search (NAS)」です。

ニューラル ネットワーク アーキテクチャの進化は数十年にわたって研究されてきましたが、上の図に示すように、いくつかの優れた成果が生まれています。以下の機能があります:

• 導関数は不要: 進化的検索は、勾配や分析目的関数の計算を必要としないランダム検索アルゴリズムです。
• 群集特性: 進化的探索は、一度に複数のソリューションを取得できる集団ベースの探索アルゴリズムです。
• 組み合わせ爆発: 進化的探索は幅広い用途があり、大規模で複雑な問題の最適化に適しています。
• グローバル最適解: 進化的探索はランダム探索法であり、アルゴリズムは確率 1 でグローバル最適解に収束します。
• 非線形ランダム性: 進化的探索は非線形問題を解決でき、最適化ルールは確率によって決定されます。
• 並列コンピューティング: 大規模な並列コンピューティングにより計算速度を向上させることができます。

2021年の最新の研究では、カナダのオタワ大学とマギル大学の研究者らが、バーストルールを使用して構築されたディープニューラルネットワークが優れたパフォーマンスを発揮することを示し、進化型ニューラルネットワークアーキテクチャ検索のためのより強固な理論的基礎を提供しました。言い換えれば、機械が学習する方法は生理学的プロセスによって近似できるということです。

ニューラル ネットワークの重みの最適化も長年の開発を経てきました。 1980 年代に提案された重み最適化関連の作業には動的プロセスが含まれていますが、現在のニューラル ネットワークの進化的最適化は主に重みとハイパーパラメータの最適化に限定されています。これは組み合わせ爆発問題であり、最適化プロセスの収束が遅くなり、計算時間が長くなり、複雑性が高くなり、使いにくくなります。したがって、勾配最適化アルゴリズムは局所最適値の影響を受けやすいのに対し、進化的アルゴリズムは鞍点が存在する場合でも非常に優れたパフォーマンスを発揮します。

現在、ハイパーパラメータの選択は主に GPU のスタッキングに依存しており、計算上の問題を軽減することしかできませんが、メカニズムの観点からは、自動学習方法を見つける必要があります。ハイパーパラメータ最適化の問題は、非線形性、非凸性、組み合わせ最適化、ハイブリッド最適化、試行錯誤のコストの高さ、組み合わせ爆発です。数十年の開発を経ても、これらの問題は未解決のままです。

数十年にわたる研究の背景を持つもう 1 つの分野は、メタ学習です。解決する必要がある基本的な問題は、メタ知識、メタ学習者、メタ目標の表現です。説明可能性と堅牢性の問題を解決するためにすでに一連の手法が存在しますが、汎化性能の向上、説明可能性の追求、進化的グローバル最適解の追求が常に進行中であるため、それらは十分ではありません。

4結論

したがって、これらの目標は、自然知能（脳のようなインテリジェントな学習と最適化を含む）を通じて達成する必要があります。進化の道においては、簡潔で直交し、正確な表現、明確な学習、明快な説明など、「鋭い耳と鋭い目」が必要です。レーダー研究を例に挙げてみましょう。初期の可視性から正確な測定、明確な観察、そして最終的な識別に至るまで、これはまさに人工知能（進化コンピューティングやディープラーニングを含む）の発展特性を裏付けています。

ABC、すなわち人工知能（AI）、生物知能（BI）、計算知能（CI）には無限の光があります。私たち一人ひとりが初心を心に留め、使命感を持って邁進し、真剣に、しっかりと学んでいきたいと願っています。