MITが「計算能力」に関する警告を発令：ディープラーニングは計算能力の限界に近づいている

ディープラーニングの人気は、基本的に人々の計算能力の追求によるものです。

最近、MIT は警告を発しました。ディープラーニングはコンピューティングの限界に近づいており、コンピューティング効率を「大幅に」向上させるには既存のテクノロジーを変革する必要がある、と。

これは、MIT、アンダーウッド・インターナショナル、ブラジリア大学の研究者らによるもので、彼らは最近の研究で、ディープラーニングの進歩はコンピューティングの成長に「大きく依存している」ことを発見した。彼らは、継続的な進歩には、既存の技術の変更、あるいはまだ発見されていない新しいアプローチを通じて、ディープラーニング手法を「劇的に」より効率的に使用する必要があると主張している。

「私たちの研究は、ディープラーニングの計算コストが偶然ではなく、設計によるものであることを示しています。ディープラーニングは、幅広い現象をモデル化し、専門家のモデルよりも優れたパフォーマンスを発揮する柔軟性を備えているため、計算コストも大幅に高くなります。とはいえ、ディープラーニング モデルの実際の計算負荷は理論よりも速く増加しており、大幅な改善が必要であることが示唆されています。」

ディープラーニングは、脳の構造と機能に着想を得たアルゴリズムを研究する機械学習のサブフィールドです。人工ニューラル ネットワークと呼ばれるこれらのアルゴリズムは、他のニューロンに信号を伝達する層状に配置された機能 (ニューロン) で構成されています。

これらの信号は、ネットワークに送られる入力データの産物であり、層から層へと移動しながらネットワークをゆっくりと「調整」し、実質的に各接続のシナプスの重みを調整します。ネットワークは最終的に、データセットから特徴を抽出し、サンプル全体の傾向を識別することで予測を行うことを学習します。

研究者らは、プレプリントサーバーArxiv.org上の1,058本の論文とその他のベンチマーク資料を分析し、特に画像分類、物体検出、質問回答、固有表現認識、機械翻訳などの分野に焦点を当てて、ディープラーニングのパフォーマンスと計算の関係を理解し​​た。彼らは、入手可能な 2 種類の情報に基づいて、コンピューティング要件の 2 つの個別の分析を実施しました。

1. ネットワーク パスあたりの計算量、または特定のディープラーニング モデルにおける 1 回のパス (重み調整) に必要な浮動小数点演算の数。

2. ハードウェア負荷、つまりモデルのトレーニングに使用されるハードウェアの計算能力。プロセッサの数に計算速度と時間を掛けて計算されます。 （研究者らは、これは不正確な計算方法ではあるが、彼らが分析した論文では他のベンチマークよりもはるかに広く報告されていることを認めている。）

報告書によると、計算能力にほとんど変化がなかった英語からドイツ語への機械翻訳を除いて、すべてのベンチマークは「統計的に有意な」傾きと「強力な説明力」を示した。

オブジェクト検出、固有表現認識、機械翻訳では、ハードウェアへの負担が大幅に増加している一方で、結果の改善は比較的小さく、人気の高いオープンソースの ImageNet ベンチマークにおける画像分類精度の変動の 43% は計算能力によって説明されています。

研究者らは、3年間のアルゴリズムの改良は計算能力の10倍の増加に相当すると見積もっている。 「全体的に、私たちの研究結果は、ディープラーニングの多くの分野において、トレーニングモデルの進歩は、使用される計算能力の大幅な増加に依存していることを明確に示している」と研究者らは書いている。

「もう一つの可能​​性は、アルゴリズム自体を改善するには、計算能力の補完的な増強が必要になるかもしれないということです。」

研究中、研究者らはさまざまな理論的ベンチマークを達成するために必要な計算能力と、それに伴う経済的および環境的コストを理解するために予測を推定しました。最も楽観的な計算であっても、ImageNet での画像分類エラー率を下げるには 100,000 回以上の計算が必要になります。

彼らの主張は、同時発生していた報告書では、ワシントン大学のグローバー偽ニュース検出モデルのコストは2万5000ドルで、トレーニングには約2週間かかると推定されていたということだ。 OpenAI は GPT-3 言語モデルのトレーニングに 1,200 万ドルを費やしたと報じられており、Google は 11 の自然言語処理タスクの最先端技術を再定義した双方向トランスフォーマー モデルである BERT のトレーニングに約 6,912 ドルを費やしました。

昨年6月の別の報告書では、マサチューセッツ大学アマースト校の研究者らが、特定のモデルの訓練と探索に必要なエネルギーによって約62万6000ポンドの二酸化炭素が排出されたと結論付けた。これは米国の自動車の平均寿命の5倍に相当します。

「これらの目標が意味する計算要件は、ハードウェア、環境、金銭の面で法外なものにはならないと予想しています」と研究者らは書いている。「この目標を経済的に達成するには、より効率的なハードウェア、より効率的なアルゴリズム、またはこれほど大きな純効果を生み出すその他の改善が必要になるでしょう。」

研究者らは、アルゴリズムレベルでのディープラーニングの改善には歴史的な前例があると指摘している。彼らは、Google のテンソル プロセッシング ユニット、フィールド プログラマブル ゲート アレイ (FPGA)、特定用途向け集積回路 (ASIC) などのハードウェア アクセラレータの出現、およびネットワーク圧縮と加速技術を通じて計算の複雑さを軽減する試みを指摘しています。

彼らはまた、ニューラルアーキテクチャ検索とメタ学習を挙げています。これらは、最適化を使用して、一連の問題で優れたパフォーマンスを維持するアーキテクチャを見つけるもので、計算効率の高い方法としてこの手法の改善に役立っています。

[[334078]]

計算能力は確かに向上しています。 OpenAI の調査によると、ImageNet 画像分類で AI モデルを同じパフォーマンスにトレーニングするために必要な計算量は、2012 年以降 16 か月ごとに 2 分の 1 ずつ減少しています。 Google の Transformer アーキテクチャは、同じく Google が開発した最先端の seq2seq モデルを上回り、seq2seq の導入から 3 年で計算量が 61 倍削減されました。

ディープマインドの AlphaZero は、チェス、将棋、囲碁の攻略法をゼロから学習するシステムで、1 年後には、そのシステムの前身である AlphaGoZero の改良版に匹敵する性能を、8 分の 1 の計算量で実現しました。

ディープラーニング モデルの計算能力の爆発的な成長により、「AI の冬」が終わり、幅広いタスクにわたるコンピューター パフォーマンスの新たなベンチマークが設定されました。

しかし、ディープラーニングには膨大な計算能力が必要であるため、特にハードウェア性能の向上が鈍化している時代には、現在の形ではパフォーマンスを向上できる範囲が限られています。こうした計算上の制限の影響により、機械学習はディープラーニングよりも効率的な技術へと移行せざるを得なくなります。