なぜ人工知能には膨大な電力需要があるのでしょうか?

今日の人工知能 (AI) システムは、真の人間の知能を再現するにはまだ程遠い状態です。しかし、彼らは確かに、データ内のパターンを識別し、洞察を掘り出す能力が、ある意味では私たちよりも優れています。現在、AI モデルは画像を認識し、チャットボットを介して人々と会話し、自動運転車を運転し、さらにはチェスで人間に勝つことさえできます。しかし、これらのモデルのトレーニングと構築にかかるエネルギーと電力の消費量が膨大であることをご存知でしたか? 言い換えれば、AI のトレーニングは、大量のエネルギーを消費し、二酸化炭素排出量も大きいプロセスです。

[[379937]]

したがって、このエネルギー消費を削減することは、環境に良い影響を与えることになります。さらに、二酸化炭素排出量の削減や炭素関連の目標達成への近づきなど、企業にとって他のメリットももたらされます。エネルギー効率の高い AI やグリーン AI の構築を進める前に、AI がなぜこれほど多くの電力を消費するのかを理解する必要があります。

ニューラルネットワークのトレーニング

ニューラル ネットワーク モデルを例に挙げます。ニューラル ネットワークは、人間の脳を模倣して自らをモデル化する強力なタイプの機械学習です。ニューラル ネットワークは、ノードの層で構成され、人間の脳の機能を模倣してデータ セット内の基本的な関係を識別しようとします。各ノードは相互に接続されており、関連付けられた重みとしきい値を持ちます。ノードの出力値が指定されたしきい値を超えていると仮定すると、ノードがアクティブ化され、ニューラル ネットワークの次のレイヤーにデータを中継する準備ができていることを示します。

ニューラル ネットワークのトレーニングは、入力がニューラル ネットワークを通過し、入力を処理した後に出力が生成される順方向パスの実行で構成されます。次に、後方パスでは、前方パスで受信したエラーを使用して、多くの行列操作を必要とする勾配降下アルゴリズムによってニューラル ネットワークの重みを更新します。

2019年6月、マサチューセッツ大学アマースト校の研究チームが、4つの大規模なニューラルネットワークをトレーニングするために必要なエネルギー消費量を評価した研究論文を発表しました。これらのニューラル ネットワークには、Transformer、ELMo、BERT、GPT-2 が含まれ、それぞれ単一の GPU で 1 日間トレーニングされ、プロセス全体のエネルギー消費が測定されました。

これらのニューラル ネットワークの 1 つである BERT は、英語の書籍と Wikipedia の記事から 33 億語を使用します。 Kate Saenko 氏の The Conversation によると、BERT はトレーニング フェーズ中にこの膨大なデータセットを約 40 回読み取る必要がありました。比較分析として、彼女は、話し方を学んでいる平均的な5歳児は、その年齢までに4,500万語を聞いている可能性があると述べ、これはBERTの3,000分の1に相当します。

マサチューセッツ大学アマースト校の研究では、BERT のトレーニングにより、ニューヨークとサンフランシスコ間を往復する乗客の二酸化炭素排出量が削減されたことが研究者によって発見されました。チームは、各モデルの元の開発者が報告した合計トレーニング時間をその数値に掛けて、各モデルのトレーニングにかかる​​総電力消費量を計算しました。カーボンフットプリントは、米国の電力生産に使用される平均炭素排出量に基づいて計算されます。

実験的研究には、Neural Architectural Search と呼ばれる調整プロセスのトレーニングと開発も含まれていました。この技術では、試行錯誤という面倒なプロセスを通じてニューラル ネットワークの設計を自動化します。 BERT の最終的な精度を向上させるために使用されたこの追加の調整手順により、推定 626,155 トンの CO2 が発生しました。これは、自動車 5 台が生涯にわたって排出する総炭素排出量とほぼ同等です。比較すると、平均的なアメリカ人は年間18,078トンの二酸化炭素を排出します。

GPU の枯渇

今日の強力な GPU (グラフィックス プロセッシング ユニット) の助けにより、人工知能の開発が可能になりました。これらの GPU は通常、大量の電力を消費します。 NVIDIA によれば、GPU の最大消費電力は 250W で、これは Intel CPU の 2.5 倍に相当します。同時に、研究者たちは、AI モデルが大規模になれば精度とパフォーマンスが向上する可能性があると考えています。これはゲーミング ノート PC のパフォーマンスに似ていますが、ゲーミング ノート PC は通常のノート PC よりも強力で、パフォーマンスが高いため高速です。今日では、数十個の CPU と強力な GPU を備えたオンライン サーバーを数分でレンタルし、強力な AI モデルを迅速に開発できます。

サンフランシスコの AI 研究機関 OpenAI によると、機械学習の黎明期から 2012 年まで、この技術に必要なコンピューティング リソースの数は 2 年ごとに倍増しました (これは、プロセッサの能力が増加するムーアの法則と一致しています)。しかし、2012 年以降、最先端のモデルを構築するために必要な計算能力の軌道は、平均して 3.4 か月ごとに 2 倍になっています。これは、新たなコンピューティング要件が AI によってもたらされる環境への悪影響につながることを意味します。

現在、専門家は、大規模な AI モデルを構築しても、必ずしもパフォーマンスと精度の点で ROI が向上するわけではないと考えています。したがって、企業は精度と計算効率の間でトレードオフを行わなければならない可能性があります。

スパイキングニューラルネットワーク

米国のオークリッジ国立研究所の研究チームは以前、ディープラーニングニューラルネットワークをスパイキングニューラルネットワーク（SNN）に変換することでAIのエネルギー効率を向上させる有望なアプローチを実証した。 SNN は脳の神経発火メカニズムを再現するため、エネルギー効率や時空間データ処理など、脳の多くの機能を共有します。オークリッジ国立研究所のチームは、ベイジアンディープラーニングのようなランダムな値を追加する確率過程を導入することで、ディープスパイクニューラルネットワーク（DSNN）を深化させました。ベイジアンディープラーニングは、ニューラルネットワークにランダムな値を導入することで、脳が情報を処理する方法を模倣する試みです。これにより、研究者は必要な計算をどこで実行すればよいかを把握でき、エネルギー消費を削減できます。

現在、SNN はニューラル ネットワークの次世代であり、ニューロモルフィック コンピューティングの基盤として注目されています。昨年、オランダ国立数学・コンピュータサイエンス研究センター（CWI）とオランダのアイントホーフェンにあるIMEC/ホルスト研究センターの研究者らは、スパイキングニューラルネットワークの学習アルゴリズムの開発にすでに成功していた。