ヤン・ルカン：私は畳み込みニューラルネットワークの父ですが、その特許にも縛られてきました

[[409963]]

学術研究の特許所有権は、研究者の研究成果を保護し、保証するものであるため、研究者にとって非常に重要です。しかし、会社の変化により、研究に参加した特許が分割された場合、その後の研究をどのように進めればよいのでしょうか。ディープラーニングの3大巨頭の1つ、畳み込みニューラルネットワークAIの父、ヤン・ルカン氏もかつてこのような「厄介なこと」に遭遇したことがある。

アメリカのベル研究所といえば、科学技術の歴史を勉強したい学生なら誰でも知っているはずです。トランジスタ、レーザー、太陽電池、発光ダイオード、デジタルスイッチ、通信衛星、電子デジタルコンピュータ、C言語、UNIXオペレーティングシステム、セルラー移動通信装置、長距離テレビ伝送、シミュレーション言語、サウンドフィルム、ステレオ録音、通信ネットワークなど、多くの主要な発明の発祥の地であり、数万件の特許を保有しています。しかし、多くの人が知らないのは畳み込みニューラルネットワークそれも数万分の一でした。

最近、ヨーク大学の電気電子工学科准教授であるコスタ・デルパニス氏が、このあまり知られていない事実を発掘しました。

彼は、1989年と1990年にAT&Tベル研究所が2つの論文を提出していたことを発見した。畳み込みニューラルネットワーク特許出願。特許名称は「HIERCHICAL CONSTRAINED AUTOMATIC LEARNING NEURAL NETWORK FOR CHARACTER RECOGNITION」であり、文字認識のための階層的制約付き自動学習ニューラルネットワークを意味します。

AT&T ベル研究所はなぜこんなに早く申請したのでしょうか?畳み込みニューラルネットワーク特許はどうですか？これはまた、畳み込みニューラルネットワークAIの父、ヤン・ルカンの初期のキャリアについてお話ししましょう。

1980 年代後半、ルカン氏はベル研究所で働いていました。 1989 年に彼は「手書きの郵便番号認識のためのバックプロパゲーションの使用」に関する研究を発表し、これは米国の郵便システムにうまく適用されました。その後、このシステムは銀行小切手にも拡張されました。 1990 年代後半までに、このシステムは米国における小切手認識の 10 ～ 20% を処理していました。

について畳み込みニューラルネットワークLeCun 氏はこの特許に対して次のように回答した。

畳み込みニューラルネットワーク(ConvNet/CNN) 特許は 2 つあります。1 つはストライド畳み込みを備えた ConvNet で、もう 1 つは独立したプーリング層を備えた ConvNet です。これらはそれぞれ 1989 年と 1990 年に提出され、1990 年と 1991 年に承認されました。

公式認証:畳み込みニューラルネットワークこの特許は実際に 1990 年代頃にベル研究所によって申請されました。しかし、ルカン氏は以前、1996年以降、特許がNCRの手に渡ったという詳細についても言及していた。

ここで何が起こっているのですか?ルカンの回想を見てみましょう。

私たちは当初、ConvNet ベースの OCR システムを構築していた開発チームと協力しました。その後すぐに、AT&T は銀行向けの小切手画像処理機と仕分け機を製造していた NCR Corporation を買収し、小切手の画像は人間のオペレーターに送信されて転記されました。明らかに、NCR はこれらの操作を自動化したいと考えています。

最終的に、導入できるほど信頼性の高い完全な小切手読み取りシステムを構築しました。同銀行は1995年に商業展開を開始した。システムは、小切手（機械印刷または手書き）の約半分を読み取り、残りの半分を人間のオペレーターに送信できます。

実際、最初の導入は、ATM での金額確認が導入される 1 年前に行われました (フランスの CMB 銀行が先駆けて導入)。そして 1996 年に、大きな出来事が起こりました。AT&T が AT&T (サービス)、Lucent (通信機器会社)、NCR に分割されたのです。

私たちの研究チームは AT&T (AT&T Labs-Research を含む) に残り、エンジニアリング チームは Lucent に、製品チームは NCR に移りました。弁護士の努力のおかげで、ConvNet ベースの製品を販売していた NCR に ConvNet の特許が最終的に譲渡されました。

そこで、私は ML に関する研究作業を中止しました。当時、ニューラル ネットワークの人気は衰えつつあり、私は Léon Bottou (機械学習とデータ圧縮の研究で知られるフランスの学者) と DjVu と呼ばれるインターネット画像圧縮プロジェクトに取り組み始めていました。私たちは 1990 年代初頭にこの研究に関する一連の論文を書きました。 (注: LeCun、Léon Bottou、そしてもう一人の学者である Patrick Haffner が DjVu 画像圧縮技術の主な考案者です)

私が ConvNet の研究を再開したのは、2002 年に AT&T を退職してからでした。 NCR の誰も、私が行っている研究の特許を所有していることに気付いていないことを願います。実際、そうではありません。 2007年に特許が切れたとき、私はシャンパンを開けて祝いました。

したがって、この話から得られる教訓は、特許がそれを構築するのに最適な人々から切り離されると、特許制度は逆効果になる可能性があるということです。特許は物理的なものには意味がありますが、ソフトウェアのようなものにはほとんど適用されません。

それは彼自身が発明に参加したものだったが、会社の変化により特許から切り離さざるを得なくなり、その後の研究でも行き詰まってしまった。ルカン氏の経験はおそらく孤立したケースではないだろう。

過去2年間、GoogleがDropoutなどのアルゴリズムの特許を申請したというニュースもコミュニティ内で白熱した議論を巻き起こした。ジェフ・ディーン氏は後に「これらのアルゴリズム関連の特許は本質的に防衛的なものであり、主にグーグルの研究者が自分の成果が特許化された後に他の機関から脅迫され、経済的損失を被るのを防ぐためのものだ」と自ら説明したが、多くの人々は依然としてこの慣行を強く嫌っており、「これは野蛮で利己的な行為であり、科学と数学の特許は人類の文明の発展を妨げている」と考えている。ルカン氏の経験から判断すると、反対派の意見には根拠があるようだ。