ますます大きく、さらに大きく：AI 研究は長期的には行き詰まりに陥るのでしょうか?

[[286629]]

ビッグデータダイジェスト制作

出典: techtalks

編纂者：穆金、曹培鑫、銭天培

コンピュータの計算能力の向上により、人工知能の発展への道が開かれました。

強力なクラウドコンピューティングプラットフォームにより、人工知能の研究者はより複雑なニューラルネットワークをより短時間でトレーニングできるようになり、コンピュータービジョン、音声認識、自然言語処理など多くの分野で AI が進歩できるようになりました。

同時に、この傾向が AI 研究に与える悪影響についてはほとんど語られていない。

現在、人工知能の進歩は主に、より多くの層とパラメータを持つディープラーニングモデルとニューラルネットワークの研究に反映されています。 OpenAIによると、最大規模のAIトレーニングで使用されるコンピューターの数は2012年以降飛躍的に増加しており、およそ3〜4か月ごとに倍増しており、7年間で30万倍に増加したことになる。

この傾向により、AI 研究は大幅に制限され、その他の悪影響も生じています。

今のところ、大きいのは良いことだ

OpenAIの研究者らは、現在の多くの分野では、計算能力が高ければパフォーマンスも向上し、アルゴリズムを補完することが多いと述べている。

多くのプロジェクトで、研究者が進歩は問題解決のためにコンピューターをもっと投入することによるものだと考えているのが見られます。

2018年6月、OpenAIは複雑なリアルタイム戦略ゲームであるDota 2をプロレベルでプレイできるAIを発表しました。

「OpenAI Live」と呼ばれるこのAIは、大規模なeスポーツトーナメントに出場したが、決勝で人間のプレイヤーに敗れた。

今年、OpenAI Research Labが立ち上げたOpen Fiveの改良版がシーズンに復帰し、最終的に人間のプレイヤーを破って優勝した。 AI研究者らは、オープンファイブの勝利は主に、土曜日のオープンインターナショナル2018での敗北と比較して8倍のトレーニング計算量によるものだと明らかにした。

計算量を増やすことでより良い結果が得られることを示す同様の例は数多くあり、これは強化学習にも当てはまります。現在、強化学習は AI 研究分野で最もホットな方向性の 1 つでもあります。

大規模AIモデルのトレーニングにかかる費用

金銭的なコストは AI モデルのトレーニングに直接影響します。 OpenAIのウェブサイトのグラフによると、同社がDeepMindの囲碁AI「AlphaGoZero」を1日あたり1,800ペタフロップスの速度でトレーニングしたという。

Flop は浮動小数点演算を表し、petaflats/s-day (pfs-day) は 1 日あたり 1020 回の演算を意味します。 Google の TPU v3 プロセッサは、人工知能タスクに特化したプロセッサです。1 日あたり 0.42 × 1020 の演算を処理でき、1 時間あたり 2.4 ～ 8 ドルのコストがかかります。つまり、AlphaGo モデルのトレーニングには約 246,800 ドルから 822,800 ドルの費用がかかりますが、これは計算操作のみのコストです。

この分野でのその他の注目すべき成果も同様のコストで達成されています。たとえば、DeepMind が発表したデータによると、同社の StarCraft プレイ AI は 18 個のパーツで構成されており、各パーツは 16 個の Google TPU v3 プロセッサを使用して 14 日間トレーニングされました。つまり、現在の価格レベルでは、同社は StarCraft プレイ AI のトレーニングに 774,000 ドルを費やしたことになります。

AI研究の商業化

AI のコンピューティング需要は、この分野に参入する企業にとって大きな参入障壁となっています。

英国に本社を置く有名な人工知能研究所であるDeepMindの成功は、主に親会社であるGoogleの膨大な資源投資によるものです。 2014年、GoogleはDeepMindを6億5000万ドルで買収し、十分な資金援助と技術支援を提供した。英国企業登記所に提出された書類によると、ディープマインドは今年初め、2017年の3億4100万ドルから2018年には5億7000万ドルの損失が出たと報告した。ディープマインドは今年、10億4000万ポンドの社債も抱えており、そのうち8億8300万ポンドはアルファベットからのものだ。

[[286630]]

もう一つの大きな金の無駄遣いは OpenAI です。非営利の人工知能研究ラボとして始まり、2016年にサム・アルトマン氏とイーロン・マスク氏から10億ドルの資金提供を受けた。今年初め、OpenAIは投資家からの資金を集めるために営利目的の人工知能研究ラボへと変貌を遂げた。研究所は研究を支える資金が枯渇しており、今年マイクロソフトは研究所に10億ドルを投資すると発表した。

現在の傾向が示すように、AI 研究（特に強化学習）にかかるコストのせいで、これらの研究室は Google や Microsoft などの裕福な企業にますます依存するようになっています。

この傾向により、AI 研究の商業化が促進されています。商業組織が AI 研究機関への資金提供において重要性を増すにつれ、研究の方向性にさえ影響を与えることができるようになります。現在、GoogleやMicrosoftなどの企業は、DeepMindやOpenAIなどのAI研究ラボを運営するための資金を賄うことができますが、近い将来には利益を上げたいとも考えています。

問題は、OpenAI と DeepMind の両社が、汎用人工知能 (AGI) のような科学プロジェクトに取り組んでいることです。これは人類がまだ完全に理解していない、ましてや達成していない領域です。ほとんどの科学者は、人類が汎用人工知能を実現するまでには少なくとも1世紀はかかると考えているが、これは最も裕福な企業にとっても忍耐力を試すことになるスケジュールだ。

考えられるシナリオの 1 つは、AI 研究機関が、長期的な学術的および科学的研究から、短期的な利益を目的としたビジネス指向のプロジェクトへと目標を徐々に移行し、投資家を満足させるものの、AI 研究全体に悪影響を及ぼすというものです。

「将来、AIシステムにおけるコンピュータの利用については非常に不確実だが、コンピューティング能力の急速な成長の傾向が止まるとは断言できず、この傾向が続く要因は数多くある」とOpenAIの研究者は述べた。「この分析に基づき、政策立案者はAI学術研究への資金提供の増額を検討すべきだと我々は考えている。一部のAI研究に必要なコンピューティング能力はますます高くなり、したがってより高価になっていることは明らかだからだ」

AI研究による炭素排出

[[286631]]

大規模な AI モデルをトレーニングするために必要なコンピューティングリソースは大量のエネルギーを消費し、これもまた炭素排出の増加につながります。

マサチューセッツ大学アマースト校の研究者らが発表した論文によると、2億1,300万のパラメータ（言語関連のタスクでよく使用される）を持つTransformerモデルをトレーニングすると、5台の自動車を廃車まで運転するのと同じくらいの汚染が発生する可能性があるという。 Google の有名な BERT 言語モデルと OpenAI の GPT-2 には、それぞれ 3 億 4000 万と 15 億のパラメータがあります。

現在の AI 研究は「大きいほど良い」というマントラに支配されているため、環境への懸念は高まるばかりです。残念ながら、AI 研究者は自分たちの研究のこうした側面について報告したり、焦点を当てたりすることはほとんどありません。 MITの研究者たちは、AI論文においてモデルの環境コストを開示し、研究の環境への影響を一般の人々にもっとよく理解してもらうことを推奨している。

人工知能の痛い教訓

より大規模で複雑なニューラルネットワークに関する最後の懸念は、AI 研究の方向性に悪影響を与える可能性があることです。現在、AI におけるいくつかの障害は、主に、より多くのデータとトレーニングを使用することで解決されています。同時に、人間の脳と AI が同じ最も単純なタスクを実行する場合、脳は AI よりもはるかに少ないエネルギーを消費します。

増大し続けるコンピューティング能力に過度に依存すると、新しくより効果的な AI ソリューションを見つけられなくなる可能性があります。

ニューラルネットワークとシンボリック AI を組み合わせたハイブリッド AI モデルの開発は、この分野の興味深い領域です。シンボリック AI は、古典的なルールベースの AI です。ニューラルネットワークとは異なり、シンボリック AI はコンピューティングリソースやデータを追加しても拡張できません。また、現実世界の乱雑で構造化されていないデータを処理するのも困難ですが、ニューラルネットワークに大きく欠けている 2 つの強みである知識の表現と推論に優れています。ハイブリッド AI のアイデアを探求することで、よりリソース効率の高い AI を発明するための新たな道が開かれる可能性があります。

ここでは詳細には触れません。興味のある読者は、ゲイリー・マーカスとアーネスト・デイビスの新著『Rebooting AI』と、コンピューター科学者ジュディア・パールの『The book of Why』を読むことができます。

「大きいほど良い」という考えが、AI研究を奈落の底へと導き始めている。科学界は、これらの問題について真剣に考え始めるのに、次の AI の冬まで待つべきではありません。