人工知能がボトルネックに到達しました！学者らが「共同で」ディープラーニングに反対し、AIの今後の発展方向を指摘

ディープラーニングにおける現在の技術的なボトルネックに対応して、清華大学の張北氏を含む多くの学者や教授が独自の研究アイデアを提案している。

序文

先日終了したCCF-GAIR会議では、清華大学、カリフォルニア大学バークレー校、スタンフォード大学、ハルビン工業大学など、国内外のトップクラスの理工系大学の学者が深圳に集まり、最新の研究を共有しました。それぞれの研究分野は異なりますが、技術講義全体を通して避けられない事実は、多くの学者が直接的または間接的にディープラーニングアルゴリズムを「批判」しているということです。

彼らはスピーチの中で、ディープラーニングの欠点を改めて指摘し、さらに近い将来、研究が進むにつれて、現在のディープラーニングアルゴリズムは徐々に廃止されるだろうと指摘した。

しかし、学術分野から産業分野に移ると、産業の焦点はテクノロジーの実装にあることがわかります。いわゆる実装は、本質的には無数のアプリケーション シナリオの集合です。したがって、AI 企業にとって最優先事項は、ビジネスを探求し、適切なテクノロジーを使用して実際の問題を解決することです。

したがって、ディープラーニングには欠陥があるものの、この問題は短期的にはAIの止められない発展を妨げるものではなく、技術の限界はAI企業が何もできないことを意味するものではありません。

しかし、高度な研究は常に AI 業界の技術の方向性をリードしており、企業の利益と産業変革の重要な原動力でもあります。

したがって、ディープラーニングが過剰に宣伝されている時代に、私たちは学者たちの「肩」の上に立って、さらに先を見据えるように努めるべきです。起業家は地に足をつけて行動すべきであると同時に、星からも目を離すべきではない。

これは新しい話題ではありませんが、業界ではこの問題に対する解決策がまだありません。この記事は、学術研究者によって提供されたいくつかの新しいアイデアを伝えることを目的としています。

機械学習の欠点

「大きい」の誤解から

現在、最も頻繁に言及される用語は、機械学習、ディープラーニング、ニューラルネットワークです。数学的集合の概念を使用してこれら3つの関係を理解すると、それらは包含関係にあります。つまり、機械学習にはディープラーニングが含まれ、ディープラーニングにはニューラルネットワークが含まれます。その中でも4層以上のニューラルネットワークはディープラーニングと呼ぶことができ、ディープラーニングは代表的な機械学習です。

1950年代に、ニューラルネットワークのアルゴリズム構造が登場しました。当時の正式名称はパーセプトロンでしたが、すでに入力層、隠れ層、出力層という古典的な一般的な構造が含まれていました。隠れ層の数が増加するにつれて、物事の記述はますます正確になりました。

ただし、ニューラル ネットワークは入力指向のアルゴリズムであるため、高品質の結果を得るには「無限」の大きさに近いデータに依存する必要があります。そのため、2000年にインターネット革命が起こるまでは、誰も興味を持たない段階に留まっていました。

皆さんご存知のとおり、インターネット時代に蓄積された大量のデータとクラウドコンピューティングによってもたらされた計算能力の大幅な向上により、ディープラーニングアルゴリズム（ディープニューラルネットワーク）の潜在能力が大きく解放され、人工知能の時代が爆発的に進み、産業アプリケーションが繁栄しました。統計によると、わが国の人工知能市場規模は2017年に216.9億元に達し、前年比52.8％増加しました。2018年には市場規模が339億元に達すると予想されています。

しかし、産業用アプリケーションが成熟し、誰もが真の「インテリジェンス」を求めるようになると、コンピューティング能力とディープラーニング アルゴリズム自体の限界がますます明らかになってきています。

[[247283]]

図 | カリフォルニア大学バークレー校電気工学・コンピュータサイエンス教授、馬易氏

「一般人が考える『ビッグデータ』は、私たちが考えるビッグデータとはまったく異なります。画像処理を例に挙げてみましょう。数十億のデータは非常に大きいように見えますが、私たちにとっては実際には『小さなサンプル』です。優れたモデルを実際にトレーニングできるデータの量は無限であるはずなので、モデルをトレーニングするためのデータが大量にあるとしても、理想的なインテリジェントモデルとの間には本質的な違いがあります。」カリフォルニア大学バークレー校電気工学・コンピュータサイエンス学部の馬易教授は、アルゴリズムの性質から始めて、この注目の技術の限界についても指摘した。

そのため、学者、投資家から大手 AI 企業に至るまで、新しい技術と方向性を見つけることが今や焦点となっています。

会議の開会報告で、清華大学の張北院士は「真の人工知能に向かってどう進むか」について皆に考えるよう呼びかけた。これは3日間の会議の基調となり、業界の発展の現段階における皆の要求も反映した。

新たな方向性を探る

データ処理方法、基本的な考え方、技術的思考

• データ処理レベルでは、セマンティックベクトル空間によってエントリがさらに広がる可能性がある。

テクノロジーの「天井」を見て、多くの専門家や学者が「スモールデータ」という概念を提唱し始めている。しかし、清華大学人工知能学院長の張北院士は、データの大きさが現時点での根本的な問題だとは考えていない。彼は、人工知能の伝統的な3つの要素では本当の知能はもたらされないと指摘した。

図 | 清華大学人工知能学院長、中国科学院院士、張北

「人工知能の成果を評価するには、次の5つのことに注目することができます。ディープブルーが人間のチェスチャンピオンに勝利したこと、IBMがテレビのクイズで米国の最初の2人のチャンピオンに勝利したこと、2015年にマイクロソフトがImageNetで画像認識を行い、人間よりもわずかに低いエラー率を達成したこと、百度とiFlytekも中国語の単文音声認識の精度が人間よりもわずかに低いと発表したこと、そしてAlphaGoがイ・セドルに勝利したこと。最初の2つは1つのカテゴリに分類でき、最後の3つは別のカテゴリに分類できます。

これら 5 つのことを実現した 3 つの要素は、ビッグ データ、計算能力の向上、そして非常に優れた人工知能アルゴリズムであることに全員が同意しました。しかし、誰もが見落としている一つの要素は、これらすべての成果は適切なシナリオに基づいていなければならないということだと思います。 ”

つまり、現在の人工知能の発展はさまざまな制約を避けることができず、知能機械はルールに従うことしかできず、柔軟性がなく、人々が望む知能を実現することができません。これがAIの現在の発展状況です。

「現在の人工知能の基本的な方法には欠陥があり、理解力を備えたAI、つまり真の人工知能へと向かわなければならない」と張北院士は演説で指摘した。

では、解決策は何でしょうか? 張院士はスピーチの中で段階的にアイデアを示し、セマンティックベクトル空間の技術的な方向性を指摘しました。

「まず、既存の機械が推論能力を欠いている理由は、常識がないからだということが明らかにされるべきです。」

張北院士は実験を通じて、常識を確立することで確かに機械の性能が大幅に向上することを証明した。機械の常識基盤を構築することは、人工知能企業がシステムパフォーマンスをさらに向上させるための第一歩となっています。 「米国は1984年にこのような常識データベースプロジェクトを開始しましたが、まだ完全には完了していません。真の人工知能、理解力を備えた人工知能を実現するには、まだ長い道のりがあることがわかります。」

しかし、常識的な基盤を構築したとしても、理解力を備えた人工知能を実現するのは容易ではありません。張院士は、知能を向上させるための第二段階は感性と知識の世界を統一することであり、それによって人工知能の発展に質的な飛躍をもたらすだろうと考えている。

「ディープラーニングが人工知能の発展を大きく促進できる理由は、人が獲得したスカラーデータをベクトルに変換し、機械で利用できるようにすることが鍵となる技術だからです。しかし、これまでは、動作（特徴ベクトル）とデータ（シンボルベクトル）を組み合わせて利用することが常に困難であり、機械がより「インテリジェント」になる能力を制限していました。」

それだけでなく、セキュリティの観点から見ると、純粋にデータ駆動型のシステムにも大きな問題があります。堅牢性が低く、大きな干渉を受けやすいのです。したがって、多数のサンプルを使用してトレーニングした場合でも、システムは依然として重大な間違いを犯す可能性があります。 SenseTimeやMegviiなどの大手企業も、トレーニングされたシステムモデルの精度が99％と高くても、実際のアプリケーションでは、システムは依然として多くの「愚かな」間違いを犯すと述べています。

「私たちが今考え出した解決策は、特徴ベクトル空間とシンボルベクトルを、意味ベクトル空間と呼ぶ空間に投影することです。」

どうやってやるんですか？

張院士は、まず、埋め込みを通じて記号をベクトルに変換し、意味をそのまま維持する必要があると指摘した。次に、レイズを通じて神経科学を組み合わせて、特徴空間を意味空間に引き上げることができると述べた。

「これらの問題を解決することによってのみ、統一理論を確立することができます。なぜなら、過去には知覚と認知は異なる方法で処理されていたため、両者は同じ次元になく、均一に扱うことができなかったからです。しかし、知覚と認知を同じ空間に投影できれば、統一された理論的枠組みを確立し、意味ベクトル空間における理解の問題を解決できます。これが私たちの目標ですが、この作業は非常に困難です。」

• 基本的なアイデアの破壊、ファジーコンピューティングが未来になるかもしれない

「ナレッジグラフ、セマンティックベクトル空間、その他の現在のディープラーニングトレーニングは、すべて確率と統計理論に基づいていますが、ファジー論理はそうではありません。ファジー集合論に基づいています。」ユタ州立大学コンピュータサイエンス学部の終身教授であるチェン・ヘンダ氏は、イデオロギーレベルから非常に大胆で破壊的なアイデアを提示した。

[[247284]]

図 | ユタ州立大学コンピュータサイエンスの終身教授チェン・ヘンダ氏

実際、ファジー論理は新しい概念ではありません。 1931年、クルト・ゲーデルが形式数論（算術論理）体系の「不完全性定理」を証明する論文を発表し、ファジー論理が誕生しました。 1965 年、カリフォルニア大学の LAZADEH 博士がファジー集合に関する論文を発表し、人類が数学理論を用いて不確実性を記述することに初めて成功しました。

「今日のコンピュータ分野では、0 か 1 のどちらかであり、0 と 1 の間には多くの不確実性があります。実際、このプロセスは結果の原因を説明します。2 本の水のボトルを例に挙げましょう。1 本のボトルには「純水の確率は 0.91」と記され、もう 1 本のボトルには「水の純度は 0.91」と記されています。どちらを選びますか? 明らかに後者を選ぶでしょう。ここでの思考および判断プロセスはファジー ロジックです。後者の程度の記述は本質的にファジーだからです。」

現在、古典的な論理システム（微積分、線形代数、生物学、およびその他の派生分野）と同様に、ファジー論理は徐々に独自の論理システムを形成しています。

しかし、どんなに優れた技術であっても、その利点を発揮するにはアプリケーションと組み合わせる必要があります。程教授もこの点を非常に重視し、乳がんの早期診断を研究分野に選びました。 「これまでに、当社のデザインサンプルは世界20か国以上、50以上のチームで使用されています。」

チェン教授の意見では、既存の技術には明らかな欠点があり、落ち着いて問題を分析し、改善策を模索する必要がある。 「今、誰もが脳波の電気信号をシミュレートしていますが、実際には脳内には電気信号だけでなく化学反応もあります。そして多くの人が行っている医療用画像処理は、実は単なる画像処理であって、医療用画像処理ではありません。両者の間には大きな違いがあります。」

• 技術的思考: 複雑さからシンプルさへ

現状、技術の進歩不足に直面し、AI企業の不安は明らかです。馬怡教授は、上記の学者や教授が提示した特定の技術的アイデアとは異なり、科学技術界の「魯迅」のような存在です。彼は、PPT でのスピーチで優れた論文を例として使用し、AI に関するすべての人の考えを再び呼び起こします。

図 | 馬易教授のライブ PPT 選択

「ニューラルネットワークの場合、インポートされたデータの小さな変化が分類に大きな変化をもたらします。これは新しい発見ではありません。2010年に人々はこの問題に直面しましたが、まだ解決されていません。」馬毅氏は演説の冒頭で「古い格言」を持ち出し、AIに対して盲目的に楽観的だった多くの人々に容赦なく冷水を浴びせた。

馬怡氏は、テクノロジーに対する誤った理解を正すためにも全力を尽くしています。

「顔認識の分野では、アルゴリズムを堅牢にすることは、AlphaGo を書くよりも 1000 倍難しい。」

「ニューラルネットワークが大きければ大きいほど良いというのはナンセンスだ。」

数年にわたって研究に携わってきた馬毅氏は、笑いと怒りの中、自身の考え方を次のように語った。「本当に高品質なアルゴリズムは、反復、再帰、古典的なADMMなど、最も単純なものでなければなりません。これらの単純なアルゴリズムは非常に優れており、非常に便利です。」

結論

次に、人工知能技術の発展は楽観的ではなく、特に産業の発展は減速期に入るでしょうが、これは学界と産業界が何もしないという意味ではありません。

図 | 張北院士のPPT選択

張北院士は「我々は真のAIへの道を歩んでいる。もう遠くはなく、出発点に近い。しかし、人工知能は常にその道を歩んでいるので、誰もが心の準備を整えておく必要がある。これが人工知能の魅力だ」と指摘した。