「ディープラーニングは学習ではない」：インテル幹部とAI大手ルカンが罵り合う

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

「ディープラーニングは本当の学習ではない。」

インテルのニューロモルフィック・コンピューティング研究所の所長マイク・デイビス氏は、国際固体回路会議（ISSCC）でディープラーニングを批判した。

デイビス氏は、ディープラーニングはほとんどの人が考えているようなものではないと述べた。それは単なる最適化プログラムであり、実際には「学習」ではない。

最も大きな打撃を受けている分野は、依然としてディープラーニングにおけるバックプロパゲーション アルゴリズムです。

同氏によると、バックプロパゲーションは脳とは何の関係もなく、人工ニューロンの反応を最適化するためにディープラーニングのコンピュータプログラムで使用される単なる数学的手法だという。

バックプロパゲーションの自然な例は存在しません。

彼はディープラーニングが現在非常に効果的であることを認めながらも、脳こそが真にインテリジェントなコンピューティングのパラダイムであると強く強調しました。

デイヴィス氏が把握しようと主張した「脳と似ていない」問題は、ディープラーニングのゴッドファーザーであるヒントン氏が常に注目してきた問題でもある。

しかし、この批判自体に関しては、アメリカのメディアZDNetは、実は主な攻撃対象はヤン・ルカンであると考えている。

ディープラーニングとニューロモルフィックコンピューティングの戦い

なぜルカンを攻撃するのか？

ちょうど月曜日、AIの第一人者たちは同じ学術会議で講演し、デイヴィス氏のニューロモルフィック・コンピューティングに関する研究を批判した。

ニューロモルフィック・コンピューティングはインテルにとって重要な新たな方向性であり、同社はこの分野でチップサンプルLoihi を発売しました。インテルによれば、このチップは自律的に学習することができ、従来のチップに比べてわずか1000分の1のエネルギーしか使用しないという。

デイヴィス氏はニューロモルフィック・コンピューティング・ラボの責任者であり、この分野におけるインテルの調査を担当しています。彼はLoihiについて話すためにISSCC会議に出席しました。

Loihi は、サンプルが入力されたときにのみアクティブになるニューロンであるスパイキングニューロンと呼ばれる技術を使用します。

ニューロモルフィック コンピューティングの支持者は、このアプローチにより脳の動作メカニズムがより適切にシミュレートされ、たとえば信号伝送プロセスが脳のそれと同じくらい経済的になると考えています。

LeCun 氏の見解では、ニューロモルフィック コンピューティングの分野では実用的な効果のあるアルゴリズムはまだ生み出されていません。役に立たないアルゴリズムのためにチップを作る必要があるのでしょうか?

しかし、デイヴィス氏は、ニューロモルフィック・コンピューティングによって生成されるアルゴリズムは効果的であり、ルカン氏はニューロモルフィック・コンピューティングの利点を無視しているとして、直接的に反対を表明した。

「ルカン氏はスパイクニューロンに反対していたが、ハードウェアのスパース性に対処する必要があると述べ、それがスパイクニューロンの役割だ」とデイビス氏は語った。

それは皮肉なことだと彼は言った。

スパイクニューロンに対する批判に反論するために、デイヴィス氏は、オンタリオ州ウォータールーにある応用脳科学という研究所が、さまざまなチップ上での音声検出アルゴリズムの性能を比較したデータを引用している。

アルゴリズムは「aloha」という単語を認識し、意味のない単語を拒否するように要求され、組織はそれを CPU、GPU、Loihi チップ上で実行しました。

データによると、Loihi は従来のプロセッサで実行される従来のニューラル ネットワークよりも、特に計算速度の点でパフォーマンスが優れており、エネルギー効率も高いものの、精度は低いことが示されています。

別の例として、デイヴィス氏は、Loihi は基本的な分類タスクを従来の GPU ベースのディープラーニング ネットワークよりも 40 倍高速に実行し、精度も 8% 向上したと述べました。

その結果、デイビス氏は、Loihi ははるかに効率が良くなり、ますます大規模なネットワークを運用できるようになると考えています。同氏は、ロボット制御が Loihi のようなニューロモルフィック チップのキラー アプリケーションになると考えています。

デイヴィス氏はまた、ルカン氏の批判の中で同意できる点を指摘した。それは、スパイクニューロン用のハードウェアは豊富にあり、興味深いアルゴリズムをマッピングするためのツールが多数提供されているという点である。

この文の背後にある「しかし、ソフトウェア アルゴリズムのレベルは良くない」という暗黙の表現に関して、デイビス氏は、チームの現在の目標はアルゴリズムの進歩であり、アルゴリズムが実際にこの分野の進歩を妨げていると述べた。

Twitterではリモートで討論会に参加した人もいました。

ニューロモルフィック・コンピューティングは量子コンピューティングと同様にまだ初期段階にあるため、批判するべきことはないと考える人もいます。

ディープラーニングは多くの分野で成果を上げており、量子コンピューティングやニューロモルフィックコンピューティングはまだ遠いと考える人もいます。これらの技術は非常に特殊ですが、どちらも実証されておらず、プログラミングモデルもありません。

実際、ルカン氏とデイヴィス氏の戦いの学術的な側面に加えて、考慮しなければならないもう一つの点は、フェイスブックとインテルのビジネス上の競争である。

ルカン氏は月曜日、フェイスブックがAIチップを社内で開発していると述べた。フェイスブック独自のチップの開発が成功すれば、インテルのチップを使う必要がなくなり、インテルの顧客を奪う可能性もある。

この言葉の戦いの詳細を読んだ後、デイヴィスの非難の核心であるバックプロパゲーションに再び注目してみましょう。

ディープラーニングモデルのトレーニングには欠かせないものですが、疑問も生じ続けています。

バックプロパゲーションは機能しますか?

バックプロパゲーションは、1986 年にカーネギーメロン大学 (CMU) の David Plaut、Steven Nowlan、Geoffrey Hinton が Nature 誌に発表した論文「バックプロパゲーションによる学習の実験」から生まれました。

△ www.cs.toronto.edu/~fritz/absps/bptr.pdf

31年後、この概念はディープラーニングによってさまざまな分野に広く応用されるようになり、大きな危機にも遭遇しました。

提案者の一人であり「ディープラーニングの父」であるヒントン氏は、トロントで開催された会議で公に疑問を提起した。

彼はバックプロパゲーションについて「非常に懐疑的」であり、「すべてを捨てて最初からやり直したい」とさえ思っていると語った。なぜなら、脳はそういう風に機能しないからです。

ヒントン氏は常に「脳に似​​ていない」という問題を非常に重視してきた。同氏はかつてMITでの講義で、人工ニューラルネットワークが十分に効果的でないのは、脳に似ていないこれらの点が原因だと考えていると述べたことがある。

ヒントン氏が自信喪失を表明した後、バックプロパゲーションは議論の的となり、「今日の AI のアキレス腱」とさえ呼ばれるようになった。

しかし今、ヒントンは自分の仕事にもう少し満足するべきなのかもしれない。

ハーバード大学臨床神経科学部の2人の科学者が、Cellが発行する雑誌「Trends in Cognitive Sciences」の最新号に、人工ニューラルネットワークのバックプロパゲーションアルゴリズムが脳にどのように反映されるかをまとめたレビューを発表しました。

「脳における誤差逆伝播の理論」と題されたこのレビューでは、最近の理論的研究を統合し、いくつかの種類の生物学的逆伝播モデルを分析します。

著者らは、理論的研究は「誤差逆伝播アルゴリズムは脳が実行するには複雑すぎるという、過去30年間一般に受け入れられてきた定説を反証する」と述べている。

これらの研究によると、脳の神経回路におけるバックプロパゲーションのようなメカニズムは、シナプス前およびシナプス後ニューロン活動の単純なシナプス可塑性ルールに基づいています。

論文: https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(19)30012-9

もう一つ…

デイヴィス氏とルカン氏は学術会議で激しい議論を交わしたが、ディープラーニングとニューロモルフィック・コンピューティングは相互に排他的ではない。

多くの学者が、ニューロモルフィック チップとディープラーニングを組み合わせる方法を研究しています。

例えば：

オークリッジ国立研究所、カリフォルニア工科大学、テネシー大学の学者たちは、高性能コンピューティングデバイス、ニューロモルフィックチップ、量子コンピューター上で複雑なディープニューラルネットワークを実行する方法を研究してきました。彼らの研究は次のとおりです。

高性能、ニューロモルフィック、量子コンピュータ上の複雑なディープラーニングネットワークの研究

アドレス: https://arxiv.org/abs/1703.05364

オーストリアのグラーツ工科大学の Guillaume Bellec、Franz Scherr らは最近、arXiv でバックプロパゲーションの代替案を提案する研究を発表しました。彼らの研究のタイトルは次のとおりです。

リカレントニューラルネットの学習における、時間経過によるバックプロパゲーションに代わる生物学的手法

アドレス: https://arxiv.org/abs/1901.09049

詳しく知りたい人向け〜