2020年にはAI技術はさらに環境に優しくなる

人工知能（AI）技術の環境への影響は最近、幅広い注目を集めていますが、これは今後10年間でAIの中心的な課題にもなると私は確信しています。会話は、AIシステムのエネルギー効率にもっと注意を払う「グリーンAI」への道を優先することを提唱するアレンAI研究所の新しい研究から始まりました。

[[316738]]

この研究の動機は、アレン研究所が、AI 分野におけるさまざまな大きな進歩が現在、膨大な量の炭素排出によって支えられていることを発見したことです。 OpenAIの2018年のブログ投稿では、世界中で超大規模AIトレーニングに必要なコンピューティングの量が2012年以来30万倍に増加していると指摘されています。記事ではモデルのトレーニングによって生じる二酸化炭素排出量は計算されていませんでしたが、誰かが鋭く問題の核心を発見し、答えを出しました。エマ・ストルーベル氏とその同僚が発表した論文によると、平均的なアメリカ人は毎年約36,000トンの二酸化炭素を排出している。同様に、ニューラル構造検索技術を使用した機械翻訳モデルのトレーニングと開発では、合計626,000トンの二酸化炭素が発生します。

残念ながら、環境の観点から見ると、いわゆる「レッド AI」プロジェクトの実際の結果は、報告されているよりもさらに悪い可能性があります。実際、AI プロジェクトにかかる時間、労力、費用の総コストは、最終結果をもたらす段階のコストよりも桁違いに高くなることがよくあります。

現実には、レッド AI プロジェクト (複雑な環境での自律ナビゲーションを改善するための新しいオブジェクト検出モデルの開発や、大量の非構造化 Web データからリッチ テキスト表現を学習するなど) が大量に集中する傾向があり、大規模なテクノロジー企業と一部の学術機関だけがそのような膨大なコンピューティング リソースを使いこなす能力を持っていることを意味します。つまり、データ規模が非常に大きく、計算コストが高いため、小規模なプレーヤーが参入することは不可能になります。

では、グリーン AI の開発をどのように促進できるでしょうか? あるいは、どんな犠牲を払ってでもグリーン AI プロジェクトを優先すべきでしょうか?

赤色AIは必ずしも悪いものではない

現在、いわゆる「レッド AI」プロジェクトのほとんどは、自然言語処理、コンピューター ビジョン、その他の重要な AI 分野の科学を進歩させることを目的としています。こうしたプロジェクトの炭素コストは確かに相当なものですが、社会に与えるプラスの影響も同様に期待する価値があります。

たとえば、ヒトゲノム計画 (HGP) には 27 億ドルの費用がかかり、完全なヒトゲノムのマッピングに 13 年かかりました。かつて業界では、ヒトゲノム計画は複雑すぎて費用がかかり、短期間で科学的な進歩をもたらす可能性がないとの見方がありました。しかし今日では、シーケンシング技術を使用することで、特定の個人のゲノムを数時間で、約 100 ドルのコストでマッピングすることができます。この技術の存在は、ヒトゲノムプロジェクト（参照ゲノム）の主な成果に基づいています。当初の計画は非効率的だったが、将来完全に実現される可能性のある個別化医療への道を開いた。

同様に、レッド AI プロジェクトのコストと成果を測定することも重要です。 Red AI 実験からの膨大な出力 (例: 物体認識のための画像表現、自然言語処理のための単語埋め込み) も、より幅広いアプリケーションに大きな後押しを与えることが期待されています。

グリーンAIへの道

しかし、潜在的な科学的成果がどうであろうと、レッド AI プロジェクトは持続不可能な運命にあり、その結果生じる環境問題が最終的にすべてを消滅させるだろう。前述のプロジェクトを例に挙げると、ヒトゲノムプロジェクトはヒトの遺伝子配列の解読に成功しましたが、それを真に普及させることができるのは、新しく低コストの DNA 予測技術だけです。つまり、AI コミュニティは、ディープラーニング モデルを構築するときに、徹底したエネルギー消費の必要性を考慮する必要があります。

以下では、私のささやかな意見をいくつか述べ、業界をグリーン AI へと導くためのいくつかの実行可能なステップについてお話しします。

再現性の重視:再現性と中間結果の共有は、AI 開発の効率を向上させるために重要です。 AI 研究の結果は通常は公開されません。そうしないと、他の研究者が同じコードを持っていても結果を再現できなくなるからです。さらに、研究者はオープンソースの作業に対して内部的な障壁に直面する可能性があります。まさにこれらの要因こそが、今日の人工知能の開発が依然としてレッド AI プロジェクトによって支配されているという事実につながっています。レッド AI プロジェクトでは、効果的な共有をすべて妨げながら、再現性の問題を解決するために「力ずく」を使用することができます。しかし、状況は徐々に変化しており、NeruIPS などの影響力のある主要なカンファレンスではすでに、参加者に再現可能なコードと研究論文の提出を求めています。

ハードウェア パフォーマンスの向上:近年、専用ハードウェアの急速な開発の波が起こっており、ディープラーニング タスクのパフォーマンス レベルが向上するだけでなく、エネルギー効率 (ワットあたりのパフォーマンス) も大幅に向上しています。 AIコミュニティのGPUに対する強い需要を受けて、GoogleはTPUを開発し、チップ市場に投入して、ユーザーが独自の専用ソリューションを構築できるようにしました。今後数年間で、NVIDIA、Intel、SambaNova、Mythic、Graphcore、Cerebras などのメーカーは、ハードウェア設計の目標を AI ワークロードに重点を置くようになると考えられています。

ディープラーニングの理解:ディープラーニング技術が機能することは誰もが知っていますが、数十年にわたる開発の歴史を持つこの技術は、いまだに謎に包まれています。現在の研究コミュニティは、ディープラーニングがなぜ、どのように機能するかを完全には理解していません。ディープラーニングの背後にある基礎科学を明らかにし、その長所と限界を正しく特徴づけることは、間違いなく、実践者がより正確で効率的なモデルソリューションを開発するのに役立つでしょう。

ディープラーニングの民主化:ディープラーニングの精度の限界を新たな高みに押し上げることは確かに刺激的ですが、諺にあるように、「完璧は善の敵」です。既存のモデルはすでに幅広いアプリケーションに十分な精度を備えており、ほぼすべての業界と科学分野がディープラーニング ツールの恩恵を受けることができます。あらゆる分野の人々がこの技術にアクセスできるようになれば、パフォーマンスとエネルギー効率において数え切れないほどの驚くべき革新が必ず起こるでしょう。

協力を強化する:世界のほとんどの企業は AI 技術システムを構築する能力を持っていませんが、これらの企業のリーダーは、将来の製品やサービスに AI やディープラーニング技術を組み込む必要があることを認識しています。企業は、AI開発戦略という強力な敵に単独で立ち向かうことを避けるために、スタートアップ企業、インキュベータープロジェクト、大学と積極的に提携関係を築く必要があります。

今日では、シリコンバレーの路上で自動運転車が走り回っているのをよく見かけ、テクノロジーの頂点に達したかのような錯覚に陥ることがあります。しかし、目を覚ましてください。私たちの AI 探究の旅はまだ第一歩を踏み出したばかりなのです。

航空業界では、20 世紀初頭の飛行の「開拓時代」は、世界中に広がる重要なプロジェクトによって特徴づけられましたが、全体的な進歩は非常に遅いものでした。 50年後、飛行の「ジェット時代」に、航空業界は持続的な発展の新たなサイクルを経験しました。飛行機はより大きく、より安全で、より速く、より燃費が良くなりました。なぜでしょうか? タービン エンジンなどの工学と規制機関などの社会構造の根本的な進歩により、飛行の民主化に必要な前提条件と推進基盤が整えられたからです。

2020 年代には AI テクノロジーがさらに驚異的な進歩を遂げると予想されます。しかし、インフラとエネルギー効率の面では、私たちはまだ「開拓時代」にいると言えるでしょう。 AI 研究が進むにつれて、モデルがアクセス可能で簡単に再現できるように、モデルに最適なプラットフォーム、ツール、方法を作成するよう努めなければなりません。このようにしてのみ、エネルギー効率の高い AI は前進し続けるための勢いを得ることができます。