機械学習の3つの時代におけるコンピューティングのトレンド

2010 年以前は、トレーニング コンピューティングの開発はムーアの法則に沿って 2 年ごとに 2 倍に増加していましたが、2010 年代初頭にディープラーニングが導入されて以来、トレーニング コンピューティングのペースは加速し、約 6 か月ごとに 2 倍に増加しています。2015 年末には、新しいトレンドが出現しました。

これらの観察に基づいて、機械学習の計算の歴史は、ディープラーニング以前の時代、ディープラーニングの時代、大規模時代の 3 つの時代に分けられています。この記事では、高度な機械学習システムをトレーニングするための急速に増大する計算要件についてまとめています。

傾向

比較は、トレーニングに必要な計算量が注釈付けされた 123 の画期的な機械学習システムで構成されるデータセットで実行されました。ディープラーニングが普及するまでは進歩が遅い時期がありましたが、2010 年にその傾向は加速し、それ以降は減速していません。さらに、2015年と2016年には、大規模モデルへの新たなトレンドが生まれ、以前の時代よりも2桁速い速度で拡大しました。

ディープラーニングへの移行 ディープラーニングの登場前と登場後には、2 つの異なるトレンド メカニズムが見られました。

これまで、機械学習アルゴリズムのトレーニングに必要な計算能力は、17 ～ 29 か月ごとに 2 倍になっていました。その後、全体的な傾向は加速し、4～9 か月ごとに 2 倍になりました。

ムーアの法則によれば、トランジスタ密度は 2 年ごとに 2 倍になります (Moore、1965)。これは、コンピューティング パフォーマンスが 2 年ごとに 2 倍になると簡略化されることが多く、基本的にはディープラーニング以前の時代の傾向と一致します。ディープラーニングの時代がいつ始まったのかは明らかではなく、ディープラーニング以前からディープラーニングの時代への移行に明らかな断絶はありません。さらに、ディープラーニングの時代が 2010 年に始まったか 2012 年に始まったかによって、結果はほとんど変わらなかったでしょう。

巨大深海時代の動向

データによると、大規模モデルの新しいトレンドは 2015 年から 2016 年に始まったようです。この新しいトレンドは 2015 年末の AlphaGo から始まり、現在まで続いています。大規模モデルは大企業によってトレーニングされています。トレーニング予算の増加が、以前のトレンドを打破した理由かもしれません。

また、レギュラーサイズモデルの人気は影響を受けておらず、2016年以前と以後の傾向は同じで、下表の通り5～6か月ごとに倍増しています。大規模モデルの計算能力の増加傾向は大幅に鈍化し、9 ～ 10 か月ごとに 2 倍になっています。これらのモデルで利用できるデータは限られているため、見かけ上の速度低下はノイズによるものである可能性があります。

この発見は、2012年から2018年までの倍増期間が3.4か月であると発見したAmodei & Hernandez (2018)や、2018年から2020年までの倍増期間が2年以上であると発見したLyzhov (2021)とは対照的です。大規模な傾向はごく最近になって発生したため、以前の評価ではこれら 2 つの異なるパターンを区別できませんでした。

結論は

この結果は、トレーニング計算のサイズがより控えめであることを示した以前の研究と一致しています。 1952年から2010年までは倍増に18か月かかり、2010年から2022年までは倍増に6か月かかり、2015年後半から2022年にかけての大規模な新たな傾向は2～3桁速く、倍増に10か月かかります。

要約すると、ディープラーニング以前の時代ではコンピューティングの進歩は遅かったが、2010 年のディープラーニング時代の到来とともにこの傾向は加速した。 2015 年後半、企業は AlphaGo などトレンドを上回るパフォーマンスを発揮する大規模モデルの開発を開始し、規模の時代の幕開けとなりました。ただし、これでは、パターンを形成するための大規模モデルと通常規模のモデルを明確に区別するものではありません。

コンピュータ教育におけるハードウェア インフラストラクチャとエンジニアの役割が増大していることから、両者の戦略的必要性が浮き彫りになっています。大規模なコンピューティング予算やコンピューティング クラスターへのアクセス、およびそれらを適用するための専門知識は、最先端の機械学習研究と同義になっています。