ニューラルネットワークの父ヒントン氏は、34年前の画期的な業績を再検証し、脳内のAI手法の「存在」を模索している。

これまで耳にした人工知能の進歩のほぼすべては、30 年前に発表された、多層ニューラル ネットワークをトレーニングする方法を説明した論文から発展したものです。

それは、1986 年に Geoffrey Hinton によって書かれた「バックプロパゲーション エラーによる表現の学習」です。

この論文は大きな意義を持っています。バックプロパゲーションアルゴリズムが多層ニューラルネットワークのトレーニングに初めて導入されたと言えるでしょう。これは、その後のアルゴリズムの推進、特に過去10年間の人工知能の発展の基礎を築きました。しかし、この進歩を維持するためには、人工知能の限界にも冷静に向き合わなければなりません。

バックプロパゲーションの創始者であるジェフリー・ヒントン氏は、現在 72 歳ですが、バックプロパゲーションについて考察する (さらには疑問を投げかける) 最前線に立っています。 2017年には、「バックプロパゲーションアルゴリズムを放棄し、新たな道を切り開く必要がある」とも明言した。

ヒントン氏自身の実践から判断すると、パズルを解く人間の脳もこの道に含まれることになるだろう。近年、「人工ニューラルネットワークの父」は脳科学研究に強い関心を頻繁に示し、脳神経科学に関する論文を一定数発表している。

最近、Geoffrey Hinton 氏は「バックプロパゲーションと脳」と題する記事を執筆し、Nature Reviews Neuroscience 誌に掲載しました。この記事では、バックプロパゲーションに関する彼の最新の考えが述べられています。研究のアイデアの観点から、彼は人間の脳におけるバックプロパゲーションメカニズムの存在の可能性を探りたいと考えています。これは神経科学の分野で広く疑問視されてきた方向性です。

バックプロパゲーションによる人工ニューラルネットワーク

バックプロパゲーションは AI の分野で、特に人工ニューラル ネットワーク (NN) において重要な役割を果たします。

この概念を理解するには、まず人工ニューラル ネットワークを多くの層からなるサンドイッチとして想像します。各層には、小さな計算ユニットである人工ニューロンがあります。これらのニューロンが発火すると、接続されている別のニューロンに信号が渡されます (実際のニューロンが発火するのと同じ方法)。各ニューロンの興奮性は、0.13 や 32.39 などの数値で表されます。 2 つのニューロン間の接合部にも重要な数値があり、これは 1 つのニューロンから他のニューロンにどれだけの興奮が伝達されるかを表します。この数値は、人間の脳内のニューロン間の接続の強さをシミュレートするために使用されます。数値が大きいほど、接続が強くなり、ニューロンから別のニューロンに伝達される興奮が大きくなります。

ディープ ニューラル ネットワークの最も成功した応用である画像認識を例に挙げてみましょう。HBO のテレビ シリーズ「シリコン バレー」に、スタートアップ チームが写真にホット ドッグが写っているかどうかを認識できるプログラムを開発したシーンがあります。

これらが機能するには、まず写真が必要です。簡単な例を挙げると、ニューラル ネットワークに幅 100 ピクセル、高さ 100 ピクセルの白黒写真を読み取らせます。入力層の各シミュレートされたニューロンの興奮値は、各ピクセルの明るさです。したがって、このサンドイッチの下部には、画像内の各ピクセルの明るさを表す 10,000 個のニューロン (100 x 100) があります。

次に、このニューロン層を別のニューロン層に接続します。1 つの層に何千ものニューロンがある場合、それらは別の層にある何千ものニューロンに接続され、さらに層ごとに接続されていきます。最後に、サンドイッチの最上層である出力層には、2 つのニューロンのみがあり、1 つは「ホットドッグ」用、もう 1 つは「ホットドッグではない」用です。アイデアは、写真にホットドッグが写っているときに最初のニューロンにのみ興奮を送り、写真にホットドッグが写っていないときに 2 番目のニューロンにのみ興奮を送るようにニューラル ネットワークをトレーニングすることです。このトレーニング方法は、ヒントンによって開発されたバックプロパゲーション手法です。

ニューラル ネットワークを初めて作成するとき、ニューロン間の接続の強さはランダムです。言い換えれば、人間の脳のシナプスがまだ完全に形成されていないのと同じように、各接続によって伝導される興奮の量もランダムです。

バックプロパゲーションの役割は、入力を変更せずに値を変更し、出力の感度を高めることです (負のフィードバックによるキャリブレーションと同様)。これにより、ニューラル ネットワークは特定の目標を達成できます。これは人工ニューラル ネットワークを実現する上で非常に重要な技術です。ニューラル ネットワークをトレーニングするための基本的なアルゴリズムの 1 つとして、ニューラル ネットワークをより「インテリジェント」にします。

バックプロパゲーションの原理は複雑ではありませんが、最良の効果を得るには大量のデータが必要です。そのため、この技術は 30 年前に提案されましたが、最も基本的な「食料」としてデータが導入された近年になって初めて、現実世界で大きな価値を生み出すようになりました。

問題は、バックプロパゲーションはコンピューター科学者であるヒントンが機械をより賢くするために考案した工学的手法であるが、このメカニズムが本当に人間の脳に存在するのかということだ。機械がバイオニック人間の脳の道に沿って人間のようなより高いレベルの知能を達成する場合、この問題を避けるのは難しいかもしれないが、これはヒントン氏の最新の論文の核心でもある。

最新論文: 人間の脳における逆伝播の「手がかり」

人工ニューラル ネットワークでは、バックプロパゲーションによりシナプスの重みを少し変更することでエラーを削減しようとします。

この最新の研究で、ヒントン氏のチームは、脳はバックプロパゲーションの概念に完全に従って機能するわけではないかもしれないが、バックプロパゲーションは大脳皮質がどのように学習するかを理解するための新たな手がかりを提供すると考えている。

人間の脳はニューロン間のシナプス接続を調整することで学習することが知られていますが、皮質のシナプスは多層ネットワークに埋め込まれているため、個々のシナプスの修正がシステムの動作にどのような影響を与えるかを判断することは困難です。

フィードバック接続は皮質に遍在していますが、厳密なバックプロパゲーションアルゴリズムに必要なエラー信号をフィードバック接続がどのように伝達するのかは分かりません。ここでは、過去および最近の開発に基づいて、フィードバック接続が神経活動を誘発する可能性があること、およびこれらの神経活動の違いを使用してこれらの信号を局所的に近似し、脳の深層ネットワークで効率的な学習を促進できることを実証します。

最近の研究では、バックプロパゲーションでトレーニングされたモデルは、霊長類の視覚皮質の腹側視覚ストリームにおける他の表現モデルよりも、観察された神経反応とより密接に一致し、バックプロパゲーションでトレーニングされていないモデル（ガボール フィルターを使用した生物学的にヒントを得たモデルや、バックプロパゲーションなしで最適化されたネットワークなど）は、バックプロパゲーションで最適化されたネットワークよりもパフォーマンスが劣ることが示されています。

そのため、研究チームは、バックプロパゲーションの実用性と効率性は、少なくとも脳がエラー駆動型のフィードバックを使って学習することを示唆しており、それがバックプロパゲーションの核となる考え方であると考えています。

ヒントン氏のチームは、活動状態のエラー駆動型シナプス変化に基づくこの学習メカニズムを NGRAD (活動差による神経勾配表現) と名付けました。

「バックプロパゲーションの概念の導入は神経科学界でセンセーションを巻き起こし、皮質学習のより深い理解の出発点となる可能性がある。しかし、バックプロパゲーションの皮質への関連性はすぐに疑問視されるようになった。その理由の1つは、人工システムでは良好なパフォーマンスが得られず、生物学的には明らかに信頼性が低いことだった。より強力なコンピューティング能力、より大きなデータセット、およびいくつかの技術的改善の出現により、バックプロパゲーションは多層ニューラルネットワークをトレーニングして人間の能力に対抗できるようになった。NGRADは、生物学的回路の仕組みに関する私たちの考えと一致する方法で、バックプロパゲーションの重大な信頼性の低さに対処している」と記事には書かれている。

研究チームはまた、バックプロパゲーションを使用してトレーニングされた多層ネットワークが神経データの説明に役立つという証拠が増えているものの、バックプロパゲーションのような学習を皮質で実装する方法については依然として多くの疑問が残っていることが限界であると指摘しました。たとえば、バックプロパゲーションでは、送信されたエラー信号は、順方向伝播によって生成されたニューロンの活動状態に影響を与えませんが、大脳皮質では、これらの接続はフィードフォワード伝播によって生成された神経活動に影響を与えます。大脳皮質のフィードバック接続は、活動を制御および活性化するだけでなく、駆動することもできます。これは、バックプロパゲーションよりもはるかに複雑です。

疑問は残る。AIと脳はますます離れていくのか、それとも近づくのか？

脳にバックプロパゲーション機構があるかどうかに関するこの研究について、北京大学情報科学技術学院教授で北京知源人工知能研究所所長の黄鉄軍教授は次のように説明した。「私はGATIC 2017で、人間の脳のニューラルネットワーク構造は進化的ビッグデータトレーニングの結果であるという見解を提唱しました。脳の構造は、何百万年にも及ぶ『適者生存』の進化プロセスの結果です。このプロセスには、一般化されたバックプロパゲーション機構がある可能性が高いと思います。」

「これはディープラーニングとまったく同じで、バックプロパゲーションによって構造化されていない多層人工ニューラルネットワークを特定の構造を持つ専用ネットワークにトレーニングします。脳の進化もまた、特定の構造を持たない成長中の皮質を、明確な分業と基本的に決定された構造を持つニューラルネットワークに徐々にトレーニングすることです。獲得学習は単なる微調整であり、脳の基本構造を変えることはできません。」

「もしバックプロパゲーションが役割を果たしているのであれば、それは主に、獲得した学習プロセスではなく、脳の生来の構造の形成にあると私は考えています。この論文を含め、多くの学者が個々の脳の獲得学習からのバックプロパゲーションのメカニズムを探していますが、これは対象としていない可能性があります」と彼は言いました。

彼は視覚システムを例に挙げて次のように説明した。「人間の視覚システムの神経ネットワーク構造は、基本的に出生時に決定されます。たとえば、一次視覚皮質 V1 から V4 の分割と間隔接続が決定されます。乳児期には、実際の視覚刺激を受けてシナプスの修正を受けます。V1 と視覚皮質の大部分のシナプスは固定されており、視覚機能を形成します。乳児期にはシナプスの修正のみが発生し、V1 から V4 の基本構造は変更されないことに注意してください。対照的に、ディープラーニングの出発点は、基本構造を持つこのような生来の神経システムではなく、視覚ネットワークまたは言語ネットワークにトレーニングできる多層ニューラルネットワークです。したがって、ディープラーニングのトレーニングプロセスは、実際には、脳が数十億年の進化の後に完了しなければならない構造生成タスクを繰り返しているのです。」

黄鉄軍氏は、自然環境による人間の脳の「訓練」の観点から、バックプロパゲーションは可能な訓練方法であると考えています。

「数十億年にわたる生物進化のビッグデータは地球環境であり、トレーニングの仕組みも豊富で多様であり、バックプロパゲーションもその1つである可能性があります。ディープラーニングの計算能力がどれだけ強力であっても、ビッグデータがどれだけ大きくても、それに匹敵することは困難です。そのため、ゼロから構造を探すのではなく、生物の脳でトレーニングされたニューラルネットワークの構造を模倣する方が、より強力な知能を実現するより早い方法だと言えます」と氏は述べた。

もちろん、これらの多くの可能性は、コンピューター科学者と神経科学者が共同で探求する必要があります。

初期の頃はディープラーニングの概念にはまだ神経科学の影が残っていたものの、近年のディープラーニング自体の急速な発展に伴い、ディープラーニングはますます独立し、神経科学とはほとんど関係がなくなってきていることを指摘しておくべきだろう。ディープラーニングを研究する専門家はアルゴリズムの改善に重点を置いており、神経科学者が議論する問題は人工ディープニューラルネットワークとは基本的に無関係である。

ヒントン氏のチームのように、ディープラーニングで開発されたアイデアを脳の研究に利用することは主流ではないが、神経科学と既存の人工知能（特にディープラーニング技術に代表される）とのつながりをさらに確立したいと考えている。

ヒントン氏のチームは記事の最後で次のように述べている。「30 年前、バックプロパゲーション アルゴリズムのいくつかの側面は生物学的観点からは非現実的だったため、神経科学には学ぶべきことは何もないのではないかと人々は考えていました。勾配学習アルゴリズムがディープ ニューラル ネットワークで強力な学習能力を発揮するようになったため、脳の効率的な学習は勾配の計算に非常に近いものになる可能性が高いと考えるようになりました。」

AI アルゴリズムと人間の脳はますます離れていくのでしょうか、それともますます近づくのでしょうか?将来的には、この質問の答えを見つけるために、より多くの人がチームに加わると信じています。