ディープラーニングのメリットが終わりを迎える中、AIは再び「死の谷」に直面しているのでしょうか?

[[384224]]

大いに期待されているディープラーニングは、人工知能を再び AI の冬に突入させるのでしょうか?

最も一般的な音声アシスタントやパーソナライズされた推奨事項から、ますます成熟しつつある自動運転まで、人工知能は私たちが毎日触れる多くのテクノロジーに存在しています。昨年から現在まで、AI分野では良いニュースが続いています。OpenAIのGPT-3は、自然言語処理からコードを描画および入力する機能を導き出しました。DeepMindは、チェスやゲームをプレイする前にゲームのルールをまったく知らず、完全に独自の探索を通じてゲームに勝つ「AlphaGoの高度なバージョン」であるMuZeroをリリースしました。一時期、「AIが人間に取って代わる」という声があちこちで聞かれた。

しかし一方で、人類の野心的なAIの夢は厳しい現実と衝突している。最近、IBMのWatson Healthが売却されるという噂がありました。かつては人間のがん治療の問題を解決しようとしていたこのAI部門は、6年間一度も利益を上げていません。さらに致命的なのは、Watson Health の診断精度が専門家の結果と 30% しか重ならないことです。

国内市場に目を向けると、「AI四大龍」の2社であるセンスタイムとメグビーテクノロジーがたびたび上場を計画していると報じられてきたが、どうやら「上場困難」の呪縛に陥っているようだ。昨年7月、Megvii Technologyの創業者Yin Qi氏はメディアに対し、AIの急速な爆発は5、6年前に起こり、現在は「死の谷」バブル期にあると語った。繁栄している外見の裏にある冷たい現実は、人々に「人工知能の冬」を思い起こさせます。AI関連の研究やその他のプロジェクトは資金調達が困難で、人材や企業は停滞しています。

清華大学人工知能研究所所長の張北氏はかつて、業界ではディープラーニングが推進されているが、ディープラーニング自体の「欠陥」により、その応用分野は特定の分野に限定されており、そのほとんどは画像認識と音声認識に集中していると述べた。しかし、ディープラーニングはボトルネック期を迎えているようです。資金と計算能力は依然として投資されているにもかかわらず、ディープラーニングの収益率はそれに応じて増加していません。

「現在、ディープラーニングに基づく人工知能は技術的に限界に達している。この技術ルートがもたらした『奇跡』は、アルファ碁の勝利以降再び現れておらず、今後も大量に現れ続けることは難しいと予測される」と張北氏は述べた。

大いに期待されているディープラーニングは、人工知能を再び寒い冬に陥れることになるのだろうか？ 「AIの『冬』が来るたびに、科学者たちは自分たちの研究の可能性を誇張する。自分たちのアルゴリズムが特定のタスクに優れていると言うだけでは不十分で、AIはすべてを解決できると言いたいのだ」と、データサイエンスとAIを長年研究してきた作家のトーマス・ニールド氏は言う。しかし、真の汎用人工知能は、まだ私たちから非常に遠いようです。

ディープラーニングとは何ですか?
AI が徐々に衰退し、「隠れた科学」になりつつあった頃、ジェフリー・ヒントン、ヨシュア・ベンジオ、ヤン・ルコンの 3 人の学者が、AI の重要な分野であるニューラル ネットワークの研究をひっそりと始めました。

ニューラル ネットワークは、多くの層からなるサンドイッチによく例えられます。各層には人工ニューロンがあり、興奮すると、接続された別のニューロンに信号を渡します。

簡単に言えば、ニューラル ネットワークは「ニューロン」と呼ばれる数字の層です。科学者たちは、脳内のニューロンがシナプスを通じて神経インパルスを伝達するのと同じように、これらの数字が互いに通信して信号を伝達すると考えているため、このように名付けられています。ニューラル ネットワーク内の数値の各層は、合意された数学的規則に基づいて前の層の数値から計算されます。

「ディープラーニング」の概念はニューラルネットワークの研究に由来し、ニューラルネットワークを研究する分野です。ここでの「深さ」とは、ニューラル ネットワークに無数の隠れ層が含まれており、計り知れないほどであるという事実を指します。

機械が人間の行動をシミュレートするには、まずデータを取得し、次に前処理、特徴抽出、特徴選択、そして推論、予測、または認識を行う必要があります。真ん中の 3 つのステップは、システムの中で最も重要で、計算負荷の高い部分です。現実には特徴は手動で抽出するのが一般的ですが、ディープラーニングの考え方は特徴を自動的に学習することです。

ディープラーニング モデルは通常、入力層、隠し層、出力層で構成されます。基本的な考え方は、前のレイヤーの出力を次のレイヤーの入力として使用して入力情報の階層的な表現を実現し、低レベルの特徴を組み合わせてより抽象的な高レベル表現の属性カテゴリまたは特徴を形成し、データの分散特性を発見することです。言い換えれば、機械は「抽象的に考える」ことを学んだのです。

上記の 3 人の AI 巨匠は、それぞれの学術的方向性を貫き、コンピューター ビジョン、自然言語処理など、より多くの分野にニューラル ネットワークを推進しました。数十年後、ついに彼らはディープラーニングの時代を待ち望んでいました。インターネットとモバイル デバイスの普及により、膨大な量のデータが容易に入手できるようになり、人類がナノの世界の限界に何度も挑戦する中、コンピューター ハードウェアはムーアの予測どおりに急速に進化しています。 2012 年、畳み込みニューラル ネットワークをベースとした Geoffrey Hinton 氏の AlexNet が ImageNet 視覚認識チャレンジで驚異的な優位性で優勝したことで、ディープラーニングが有名になりました。さらに、この実験では、画像のサンプルサイズが十分に大きく、隠れ層の数が十分に多ければ、認識率を大幅に向上できることがわかり、学界や企業に大きな刺激を与えました。

データが増えれば、インテリジェンスも増える?
OpenAI の最新の自然言語処理モデル GPT-3 は、インターネット上の膨大なコンテンツのほぼすべてを読み取っています。合計で約 5,000 億語が読み取られ、モデルには約 1,750 億のパラメーターがあります。このシステムには数万個のCPU/GPUが搭載されており、あらゆる分野の情報を24時間体制で「読み取り」、半月でインターネット上のすべてのコンテンツの読み取りを完了しました。膨大な量のデータ入力こそが、この AI モデルの「暴力的な」性質なのです。

しかし、これでGPT-3が完全に人間のようになるわけではありません。例えば、人間の常識に反する「疑似質問」には反応しますが、これは質問自体を理解していないことを証明しているだけです。ウーバーの人工知能研究所の元所長ゲイリー・マーカス氏は、ディープラーニングに何度も冷や水を浴びせてきた。「人間は明確なルールに従って学習できる。例えば、二次方程式の3つの形式を学習した後、それを使ってさまざまな問題を解くことができる。ペキニーズや柴犬を見た後では、ジャーマンシェパードを見ると、これも犬だとわかるだろう。しかし、ディープラーニングはそうではない。『データが多いほどモデルのパフォーマンスが向上する』というのがディープラーニングの基本ルールだ。文字通り与えられたルールから学習することはできない」 「

「ディープラーニングとは、繰り返されるパターンを見つけることです。それが何度も繰り返されると、ルール（真実）とみなされます。同様に、嘘も千回繰り返されれば真実とみなされます。ビッグデータが時に非常に不合理な結果を生み出すのはそのためです。正しいかどうかは関係なく、何度も繰り返される限り、このルールに従います。より多く言う人が理解する人です。」 張北院士もディープラーニングは「それほど神秘的ではない」と述べた。

ディープラーニングは知識を真に理解することはできないため、「ディープラーニングで学習した知識は深いものではなく、伝達も難しい」とマーカス氏は述べた。 AIシステムには数千億のパラメータが存在することが多く、ブラックボックスのような謎に包まれています。ディープラーニングの不透明性は、AIバイアスなどの一連の問題につながるでしょう。最も重要なのは、AIが人間によって使用されるべきだということだ。「AIに判断をさせたいのに、AIを理解していないのに、AIに飛行機を操縦させたら、誰がこの飛行機に乗ろうと思うだろうか？」張北氏は、AIは説明可能でなければならないと強調した。

最も重要なことは、AI にデータを供給するには計算能力が非常に必要になるということです。 MIT の研究者は、ディープラーニングのパフォーマンスとコンピューティング能力の関係を理解し​​、Arxiv.org の 1,058 件の論文と資料を分析し、画像分類、オブジェクト検出、質問応答、固有表現認識、機械翻訳という 2 つの分野のコンピューティング要件に焦点を当てました。

ネットワーク パスあたりの計算量、または特定のディープラーニング モデルでの 1 回のパス (重み調整など) に必要な浮動小数点演算の数。
モデル全体をトレーニングする際のハードウェア負荷は、プロセッサの数に計算速度と時間を掛けて推定されます。
結論は、トレーニング モデルの進歩は、コンピューティング能力の大幅な向上に依存することを示しています。具体的には、コンピューティング能力の 10 倍の増加は、アルゴリズムの 3 年間の改善に相当します。言い換えれば、コンピューティング能力が増加するにつれて、その実現に必要なコンピューティング要件、つまりハードウェア、環境、お金のコストが手に負えなくなるということです。

ムーアの法則によれば、計算能力は2年ごとに2倍になるという。 OpenAI の調査によると、AI トレーニングに使用される計算能力は 3 ～ 4 か月ごとに 2 倍になっているそうです。 2012 年以降、人工知能には 30 万倍の計算能力の増加が必要とされていますが、ムーアの法則では AI は 7 倍しか増加しません。チップの計算能力の限界がこんなに早く来るとは誰も思っていなかった。

計算能力が不十分なのは問題だが、業界では、この「力ずく」モデルの方向性が間違っているとさえ考えている。 「知識、経験、推論能力は人間の合理性の基盤です。これまでに形成された人工知能システムは非常に脆弱で、攻撃や欺瞞を受けやすく、大量のデータを必要とし、説明がつきません。非常に重大な欠陥があります。この欠陥は本質的なものであり、方法自体に起因しています。」張氏は、 「ディープラーニングの本質は、未処理のデータを使用して、確率学習の「ブラックボックス」処理方法を使用してそのルールを見つけることです。繰り返しパターンしか見つけることができません。つまり、データだけに頼っていては真の知能は得られません。」と語った。

ディープラーニングのメリットは終わりを迎えつつあるが、AIは依然として発展を続けている
張北氏の見解では、ディープラーニングは根本的に間違っているため、技術の向上によってAIの根本的な欠陥を完全に解決するのは難しいだろう。まさにこれらの欠陥により、その応用範囲は特定の分野に限定され、そのほとんどは画像認識と音声認識に集中しています。 「調べてみると、中国の人工知能分野のユニコーン企業20社と準ユニコーン企業30社のうち、約80％が画像認識や音声認識に関連していることがわかりました。」

同氏は、「適切な応用シナリオを選択し、成熟した人工知能技術を使って応用する限り、発展の余地はまだ大きい。現在、学術界はディープラーニングの問題を克服するための徹底的な研究を行っている。ビジネス界、特に中小企業が研究の進展に細心の注意を払い、新技術をタイムリーに自社製品に適用することを期待している。もちろん、GoogleやBATのような規模の企業も関連研究に携わり、研究、開発、応用を組み合わせるだろう」と述べた。

[[384225]]

ディープラーニングに冷水を浴びせかけてきたゲイリー・マーカス氏は、ディープラーニングの神秘性を解き明かすことを提案した。「ディープラーニングをあきらめるべきではないと思います。それどころか、ディープラーニングを再概念化する必要があります。ディープラーニングは万能薬ではなく、ハンマーやレンチ、ペンチがまだ必要なのと同じように、この世界にある多くのツールの1つにすぎません。」

「ディープラーニングは現在の人工知能技術の一部に過ぎません。知識表現、不確実性処理、人間とコンピューターの相互作用など、研究が必要な人工知能のより大きく幅広い領域があります。ディープラーニングが人工知能であるとは言えません」と張北氏は述べた。

また、中国科学院自動化研究所の副所長である劉成林氏はかつて、「今日のAIブームは、実際には主にパターン認識とディープラーニングの成功に依存しています。ディープラーニングの配当は徐々に枯渇しますが、AIの多くの方向（知覚、認知、学習言語理解、ロボット工学、ハイブリッドインテリジェンス、ゲーム理論など）は発展を続け、全体的に谷間に陥ることはありません」と述べました。