ルカン氏の論文は「盗作」と非難されたのか？ LSTMの父は怒りの投稿を投稿しました：私をコピーした人はオリジナルにもマークを付けてください

チューリング賞を受賞したヤン・ルカンは、AI分野の三大巨頭の一人です。当然ながら、彼が発表した論文は「聖書」として研究されています。

しかし最近、突然誰かがルカン氏を「古い考えを焼き直している」と非難した。「それは私の核となる考えを別の方法で表現しているに過ぎない」

もしかして…

そうです、この人こそが「LSTMの父」ユルゲン・シュミットフーバーです。

シュミットフーバー氏は、ルカン氏の論文では1990年から2015年までの重要な成果については触れられていないと述べた。論文で言及されている「サブ目標の学習、予測可能な抽象表現、複数の時間スケール」などの概念を含む「主な独自の成果」はすでに発表されている。

原文プッシュで使用されている「焼き直し」という言葉は、元のアイデアを何の工夫もなく別の方法で表現することを意味し、完全な「盗作」です。

同時に、彼は証拠を詳細に列挙した長い記事も発表した。もちろん、これはシュミットフーバー氏の一方的な発言に過ぎません。

しかし、ネットユーザーは明らかにそれを信じていない。

「あなたはかつてAIの重鎮でしたが、今では誰もが自分のアイデアを盗用していると主張することで有名です。」

「あなたはニューラルネットワーク、トランスフォーマー、LSTM を発明しました。では、トイレットペーパーやパンのスライスもあなたの家族が発明したのですか?」

それで、何が起こっているのでしょうか?

まず、この問題の状況を整理してみましょう。

2022年6月14日、Science Tabloid by Schmidhuber（MIT Technology Review）という「科学タブロイド」が、LeCun氏のレポートを掲載し、その中で彼はAGIに関する新しいアイデアを詳しく説明しました。

ヤン・ルカン氏は6月27日、数年にわたって蓄積してきた論文「自律型機械知能への道」を発表し、「AIの今後の発展方向を指し示す論文」と評した。

この論文は、「機械はどのようにして動物や人間のように学習できるか」という問題を体系的に論じています。60 ページを超える長さです。ご興味のある方はご覧ください。

LeCun氏は、この記事は今後5～10年のAI開発の一般的な方向性についての彼の考えだけでなく、今後数年間に何を研究する予定なのかも示していると述べました。彼は、AIコミュニティのより多くの人々が一緒に研究するよう刺激を与えたいと考えています。

おそらくルカンの論文の影響力の高まりを見て、シュミットフーバーはついに7月7日に書いた長い論文を公開し、ルカンが自分のアイデアを盗用したと怒りを込めて非難した。

シュミットフーバー氏は、記事が掲載される前に「科学タブロイド紙」が報告書の草稿（まだ機密扱い）を彼に送り、それについてコメントを期待していたと述べた。

そこでシュミットフーバー氏は、ルカン氏の論文は基本的に彼の以前の研究の転載であり、引用もしていないと、非常に印象的な形で「告発」を書いた。

当然のことながら、彼のコメントは無視された。

LeCun は私の研究を引用せずに繰り返しただけです!

この長い記事の中で、シュミットフーバー氏は、読者が原文の論文を読んで、これらのコメントの科学的内容を自ら判断し、また、自分たちの研究が認められ、評価されることを望んでいると述べた。

LeCun 氏の論文の冒頭で、同氏は、この論文で説明されているアイデアの多くは、多くの著者によってさまざまな形でさまざまな文脈で（ほぼ）提案されていると述べています。Schmidhuber 氏は、残念ながら、この論文の内容のほとんどは 1990 年以降の私たちの論文と「よく知られている」ものであり、引用マークも付いていないと反論しました。

まず、彼がルカン氏を攻撃するために使用した証拠の一部を見てみましょう。

証拠1:

LeCun: 今日の AI 研究は、3 つの大きな課題に取り組む必要があります。(1) 機械はどのようにして世界を表現し、予測し、主に観察を通じて行動することを学ぶことができるのか。(2) 機械はどのようにして勾配ベースの学習と互換性のある方法で推論し、計画を立てることができるのか。(3) 機械はどのようにして階層的な方法で、複数の抽象化レベルと複数の時間スケールで、知覚 (3a) と行動計画 (3b) を表現することを学ぶことができるのか。

シュミットフーバー氏：これらの問題は、1990年、1991年、1997年、2015年に発表された一連の論文で詳しく取り上げられています。

1990 年に、長期計画と強化学習 (RL) および人工的な好奇心による探索のための勾配ベースの人工ニューラル ネットワーク (NN) に関する最初の研究が発表されました。

これは、コントローラーとワールド モデルと呼ばれる 2 つの再帰型ニューラル ネットワーク (RNN、最も強力な NNN) の組み合わせについて説明します。

ワールド モデルは、コントローラーのアクションの結果を予測することを学習し、コントローラーはワールド モデルを使用して数ステップ先を計画し、予測された報酬を最大化するアクションのシーケンスを選択できます。

ニューラルネットワークに基づく階層的知覚の疑問（3a）に対する答えは、1991年の私の論文「最初のディープラーニングマシン：ニューラルシーケンスチャンカー」で少なくとも部分的に取り上げられています。

これは、リカレント ニューラル ネットワーク (RNN) の深い階層で教師なし学習と予測コーディングを使用し、複数の抽象化レベルと複数の時間スケールで「長いデータ シーケンスの内部表現」を見つけます (LeCun が書いているとおりです)。

ニューラルネットワークに基づく階層的行動計画に関する（3b）の答えは、1990年に私の論文「階層的強化学習（HRL）」で少なくとも部分的に取り上げられました。

証拠2:

LeCun: コスト モジュールの両方のサブモジュールは微分可能であるため、エネルギー勾配は他のモジュール、具体的にはワールド モジュール、パフォーマンス モジュール、および知覚モジュールを通じて逆伝播できます。

Schmidhuber: これはまさに私が 1980 年の論文「フィードフォワード ニューラル ネットワークによるシステム識別」を参考にして 1990 年に発表したものです。

2000 年には、私の元ポスドクの Marcus Hutter が、世界モデルとコントローラーを学習するための理論的に最適で一般的な微分不可能な方法を発表しました。 （ゲーデルマシンと呼ばれる数学的に最適な自己参照型AGIも参照）

証拠3:

LeCun: 短期記憶モジュールのアーキテクチャは、キー値メモリ ネットワークに似ている可能性があります。

シュミットフーバー：しかし、彼は、私が 1991 年にシーケンス処理の「高速ウェイト コントローラー」または「高速ウェイト プログラマー (FWP)」について説明した際に、このような最初の「キー値メモリ ネットワーク」を発表したことには触れませんでした。 FWP には、バックプロパゲーションを介して学習し、別のニューラル ネットワークの高速重みをすばやく変更する低速ニューラル ネットワークがあります。

証拠4:

LeCun: この論文の主な独創的な貢献は、(I) すべてのモジュールが微分可能であり、その多くがトレーニング可能な全体的な認知アーキテクチャです。 (II) H-JEPA: 世界を予測するための非生成的階層アーキテクチャ。複数の抽象化レベルと複数の時間スケールで表現を学習するモデル。 （III）情報提供と予測を同時に行う表現を生成する、非対照的な自己教師あり学習パラダイムのシリーズ。 （IV）不確実性下での階層的計画法のための予測世界モデルの基礎としてH-JEPAを使用する。

これに対して、シュミットフーバー氏もルカン氏が挙げた4つのモジュールを一つずつ校正し、自身の論文と重複する点を指摘した。

記事の最後で、彼はこの記事の目的は、発表された論文やその著者が反映したアイデアを攻撃することではない、と述べた。重要なのは、これらのアイデアが、ルカン氏の論文に書かれているほど「独創的」ではないということだ。

彼は、これらの見解の多くは私と私の同僚の努力の結果であり、LeCun の「主な独創的な貢献」は実際には過去数十年にわたる私の研究貢献と切り離せないものであると述べました。読者が私のコメントの妥当性を自ら判断してくれることを願っています。

LSTM の父から…

実のところ、この老人が他人が自分の作品を盗作したと主張するのは今回が初めてではない。

昨年の 9 月には、彼はブログに、最も引用されているニューラル ネットワークの論文は私の研究室で行われた研究に基づいていると書いていました。

「LSTMは言うまでもなく、ResNet、AlexNet、GAN、Transformerなど、今日よく知られている他の画期的な研究はすべて私の研究に関連しています。いくつかの研究の最初のバージョンを作ったのは私ですが、これらの人々は倫理に反し、標準的な方法で引用していないため、これらの成果の所有権に問題が生じています。」老人は非常に怒っていましたが、ユルゲン・シュミットフーバーは長年にわたって少し動揺していたと言わざるを得ません。 AI分野の第一人者として、彼らは数々の画期的な業績を残してきましたが、彼らが得た名声や評価は、常に彼らの期待とは程遠いものだったようです。

特に2018年にディープラーニングの三大巨匠、ヨシュア・ベンジオ、ジェフリー・ヒントン、ヤン・ルカンがチューリング賞を受賞したとき、多くのネットユーザーが「なぜチューリング賞はLSTMの父であるユルゲン・シュミットフーバーに授与されなかったのか？」と疑問を呈した。彼はディープラーニングの分野の専門家でもあります。

2015年に、ベンジオ、ヒントン、ルカンはネイチャー誌に共同でレビューを発表しましたが、そのタイトルは単に「ディープラーニング」でした。

この記事は、従来の機械学習技術から始まり、現代の機械学習の主なアーキテクチャと方法を要約し、多層ネットワーク アーキテクチャをトレーニングするためのバックプロパゲーション アルゴリズム、畳み込みニューラル ネットワークの誕生、分散表現と言語処理、再帰ニューラル ネットワークとそのアプリケーションなどについて説明します。

それから1か月も経たないうちに、シュミットフーバー氏は自身のブログでこの動きを批判した。

シュミットフーバー氏は、記事の中で著者3人自身の研究結果が何度も引用されている一方で、ディープラーニングへの他の先駆者たちのこれまでの貢献については触れられていないため、非常に憤慨していると述べた。

同氏は、チューリング賞を受賞した「ディープラーニングの三巨頭」は、他人の業績に貪欲で、業界内での地位を利用して互いにおだて合い、上級学術派閥を抑圧する狡猾な人間になっていると考えている。

2016 年、Jürgen Schmidhuber 氏は NIPS カンファレンスのチュートリアルで再び「GAN の父」Ian Goodfellow 氏と対峙しました。

当時、グッドフェロー氏がGANと他のモデルの比較について話しているときに、シュミットフーバー氏が立ち上がって質問を遮った。

Schmidhuber 氏の質問は非常に長く、約 2 分間続きました。主な内容は、彼が 1992 年に PM を提案したことを強調することでした。その後、彼はその原理、実装プロセスなどについて話し、最後に本性を現しました。「あなたの GAN と私の PM の間に類似点があるかどうか教えていただけますか?」

グッドフェロー氏も負けじと、「あなたが提起した問題については、これまで何度もメールで話し合ってきましたし、私はすでに公に回答しています。今回は、聴衆の忍耐を無駄にしたくありません。」と答えました。

待って、待って…

おそらく、シュミットフーバーの「謎の作戦」は、ルカンからの電子メールで説明できるだろう。

「ユルゲンは認められることに執着していて、自分が当然得るべきものを十分に得られていないといつも言っています。彼はほとんど習慣的にスピーチの最後に立ち上がって、先ほど発表した仕事の功績を主張しますが、これは一般的には合理的ではありません。」​