AIコンピューティングのトレンド分析：4年後には、次のAlphaGoをプレイできる人は誰もいない

OpenAI は最近、さまざまな期間における最先端の AI 実験で消費されたコンピューティング量に関する調査と分析を実施しました。結果によると、AI トレーニングに必要なコンピューティング量は 6 年前と比べて 30 倍に増加しており、これは 3.5 か月ごとに 2 倍に増加していることに相当します。この指数関数的な成長率は驚異的ですが、ハードウェア投資、電力消費などの費用（例えば、現在最大のAI実験であるAlphaGo Zeroのトレーニングコストは1,000万ドルと推定されています）を考慮すると、この傾向はどれくらい続くのでしょうか。

ライアン・キャリー氏は分析を通じて、3.5～10年を超えないだろうと結論付けた。しかし、この傾向がそれほど長く続いたとしても、AI は汎用人工知能 (AGI) を実現するために必要なコンピューティング要件の一部を突破することができるでしょう。

過去数年間の AI 実験では、これまでよりもはるかに多くの計算能力が使用されたことがわかっています。しかし先月、OpenAI が実施した調査により、この発展がどれだけの速さで進んでいるかについての初期的な推定値が示されました。 AlphaGo ZeroとAlexNetを比較したところ、現在の***規模の試験は6年前の***規模の試験の30万倍の大きさであることがわかりました。ここで毎年行われる***型テストの規模は指数関数的に増加しており、3.5か月ごとに倍増しています。

AI コンピューティングのこの傾向を考えると、実験の成長率は驚くべきものであり、分析する価値があります。この記事では 2 つの問題について検討します。 1つ目は、実験の規模が急速に拡大し続けると、すぐに負担が重くなりすぎるため、この傾向は徐々に終焉するだろうということです。経済が根本的に変わらなければ、支出レベルとコンピューティングコストの変化に応じて、この傾向は最大で 3.5 年から 10 年しか続かないでしょう。 2 つ目の問題は、この傾向がさらに 3.5 年続くと、AI 実験に使用されるコンピューティングの量がいくつかの興味深いマイルストーンを超えることになるということです。特に、1 回の実験で使用される計算量は、スパイクニューロンを使用して人間の脳の 18 年間の思考をシミュレートするために必要な合計量を超えます。一般的に、同等の効率のアルゴリズムが与えられた場合、この傾向は成人の知能に到達するために必要なレベルを超えると言えます。セクション(1)と(2)ではそれぞれこれらの問題を検討し、セクション(3)ではこの分析の限界について議論し、この研究がAGIに関する予測にどのように影響するかを検討します。

1. この AI コンピューティングのトレンドはどれくらい続くのでしょうか?

AI コンピューティングのこのトレンドが経済的にどれくらい持続可能かを把握するには、実験コストの増加率、現在の実験コスト、将来の実験にかけられる最大額という 3 つの点を知る必要があります。

*** タイプの実験では、規模が 3.5 か月ごとに 2 倍になり (1 年ごとに約 1 桁、つまり 10 倍。時間測定 = LOG(10,2)*3.5/12=0.9689 年、約 1 年)、コンピューティング ユニットあたりのコストは、約 4 ～ 12 年ごとに 1 桁減少します (長期的な傾向では、4 年ごとにコストが 10 倍改善され、最近の傾向では、12 年ごとにコストが 10 倍改善されています)。したがって、*** 型テストのコストは 1.1 ～ 1.4 年ごとに 1 桁増加します。

これまでで最大の実験はAlphaGo Zeroで、費用は1,000万ドルに上るとみられる。

もちろん、試験の規模がどの程度になるかは、誰がそれを実行するかによって異なります。最も裕福なプレーヤーはおそらく米国政府でしょう。以前、米国はマンハッタン計画の遂行にGDPの1%を費やし、アポロ計画の実施中にGDPの約0.5%をNASAに投資しました。 AI 実験に対する同様の世界的支出が GDP の 1%、つまり 2,000 億ドルに相当すると仮定しましょう。 1 桁の増加には 1.1 ～ 1.4 年かかり、初期の試験規模は 1,000 万ドルであることを考えると、AI コンピューティングのトレンドでは、5 ～ 6 年以内に 2,000 億ドルの費用がかかる試験が行われると予測されています。したがって、将来の（米国の）経済状況が現在の状況と同様であることを考えると、AI コンピューティングのトレンドは終わりを迎えることになるでしょう。

また、政府の関与がなければこの傾向がどれくらい続いた可能性があるかについても考えてみましょう。民間企業は規模が小さいため、より早く経済的な障壁に直面することになるだろう。これらのうち最大のものはテクノロジー企業です。Amazon と Google は現在、年間約 200 億ドルの研究開発予算を保有しており、政府以外で最大の独立した実験は 200 億ドルであると推測できます。民間部門がAIコンピューティングのトレンドに追いつくのにかかる時間は、政府が約3.5～4.5年かかるのに対し、約4分の3の時間がかかります。

一方、特定のハードウェアの開発によってコンピューティングが安価になり、この傾向がもう少し長く続く可能性もあります。新しいハードウェアによってコンピューティングが 1,000 倍安くなり、費用対効果に関するムーアの法則が破られると、この経済的限界はもう少し長く、おそらくあと 3 ～ 4 年は維持される可能性があります。

AIコンピューティングのトレンドが本当に長期間（10年以上）持続するためには、経済生産高が毎年1桁成長する必要があります。これは確かに極端な状況ですが、不可能ではありません。重要な点は、いくつかの非常に強力な AI 技術が大規模な経済的利益をもたらすことができるかどうかです。

もちろん、これらの数字は上限であり、AI コンピューティングのトレンドが突然または徐々に停止する可能性を排除するものではないことを覚えておくことが重要です (たとえば、AI 研究が期待よりも経済的でないことが判明した場合)。

概要: AI コンピューティングの急速な発展傾向は持続不可能であり、基本的に 3.5 年から 10 年を超えることはできません。

2. AI コンピューティングのトレンドが AGI 関連のマイルストーンに到達するのはいつでしょうか?

2 番目に導き出せる結論は、AI コンピューティングのトレンドが現在のペースで継続すれば、いくつかの興味深いマイルストーンが達成されるだろうということです。 AIコンピューティングのトレンドが3.5～10年続くと、大規模実験の規模は1日あたり10^7～5×10^13ペタフロップス（1000兆回の浮動小数点演算）に達すると予想されており、このレベル以下でどのようなマイルストーンを達成できるかが問題となります。どのマイルストーンが AGI の開発に貢献するかはまだ議論の余地がありますが、次の 3 つの候補があります。

• 幼少期の人間の脳をシミュレートするために必要な計算量
• Alphago Zero が超人になるまで、囲碁のゲームをプレイするために必要な計算量をシミュレートします。
• 人間の脳の進化をシミュレートするために必要な計算量。

人類の幼少期の節目

人工知能を作成するために必要な計算量として自然に推測されるのは、人間の脳が使用する計算量です。 AI が（人間と比較して）以下の特徴を持っていると仮定します。

• 同様の効率アルゴリズムを使用して、異なるタスク（それぞれ異なる計算とデータ）を実行する方法を学習します。
• 同様の知識がアーキテクチャに組み込まれており、
• 類似データ
• 人間の脳の働きを 18 年間シミュレートするのに十分な計算能力と、脳の知的パフォーマンスを捉えるのに十分な粒度を備えています。

そうすると、AI は 18 歳の人と同様の範囲の問題を解決できるようになるはずです。

脳を 1 秒間シミュレートするために必要な 1 秒あたりの浮動小数点演算回数については、さまざまな推定値があります。 AI Impact によって収集されたデータは、中央値 1018 FLOPS (ホジキン・ハクスリー方程式を使用してシミュレート) を示し、範囲は 3×10^13 FLOPS (モラベックの推定値) から 1×10^25 FLOPS (シミュレートされたメタボローム) でした。このようなシミュレーションを 18 年間実行すると、700 万ペタフロップスに相当します。 (範囲: 200～7×10^13 ペタフロップス/秒)。

そして、モラベック氏のような最も短い推定によれば、私たちの計算はすでに人間の子供の成長の節目を超えるほど十分に優れている。中央値の推定とホジキン・ハクスリーの推定によれば、3.5年でこのマイルストーンに到達することになります。

AlphaGo ゼロゲームのマイルストーン

人間の子どもの成長の節目に対する反論の 1 つは、AI システムが現在、人間よりも学習が遅い (「学習が遅い」) という点です。 AlphaGo Zero は超人になるまでに 250 万回の囲碁対局をプレイしました。つまり、1 回の対局に 1 時間かかるとすると、300 年かけて囲碁をプレイする必要があることになります。人間の脳のように複雑なものが機能するには、18 年ではなく 300 年かかるのだろうかと疑問に思うかもしれません。答えは、このマイルストーンに到達するには、人間の子供のマイルストーンに到達した後、さらに 14 か月間この傾向が続く必要があるということです。

脳の進化のマイルストーン

より保守的なマイルストーンは、神経進化全体をシミュレートするために必要な計算量です。 2012年、シュルマン氏とボストロム氏は、神経系の進化をシミュレートするコストを検討するアプローチを導入しました。これには、10 億年にわたる 10^25 個のニューロンの進化をシミュレートする必要があります。 Shulman 氏と Bostrom 氏は、ニューロンを 1 秒間シミュレートするコストは 1-10^10 浮動小数点演算であると推定しており、進化をシミュレートする総コストは 3×10^21-3×10^31 ペタフロップス/日となります。この計算量は膨大すぎて、AIコンピューティングのトレンドが終わっても達成には程遠いものとなるでしょう。したがって、AI コンピューティングのトレンドは、地球上で脳の進化をシミュレートできるようになるまでにはまだまだ時間がかかるというシュルマン氏とボストロム氏の結論を変えるものではありません。たとえ支出が急速に増加し、このコンピューティングのマイルストーンに到達するにはムーアの法則が何十年も続くとしてもです。

全体的に、脳の進化のマイルストーンは AI コンピューティングのトレンドの範囲をはるかに超えているものの、他のマイルストーンはそうではない可能性があることがわかります。これらの推定値の一部、特に代謝学的推定値の基準によれば、人間の子供や AlphaGo Zero ゲームのマイルストーンも達成不可能である。しかし、AIコンピューティングのトレンドが今後数年間続くとすれば、人間の子供とAlphaGo Zeroのゲームという画期的な出来事が達成されることになるだろう。

3. 議論と限界

この分析に基づいて、当然、合理的な疑問が浮かび上がります。AGI を予測するために、どのマイルストーンに最も重点を置くべきでしょうか? この疑問には不確実性が多すぎますが、AGI は脳の進化のマイルストーンよりも形成しやすいが、AlphaGo Zero ゲームのマイルストーンの前でも後でも AGI を実現できると考えたいと思います。

***のポイントは、脳の進化におけるマイルストーンとしてのシルバーは、アルゴリズムによって発見されたプロセスは AI 自体によって実行されなければならないと想定している点です。しかし、人間の設計者が計算コストをかけずに（あるいは進化をシミュレートするコストのほんの一部で）適切なアルゴリズム（またはそのほとんど）を提供できる可能性の方が高いように私には思えます。

第二に、AlphaGo Zero ゲームのマイルストーンと比較して AGI を評価することはより複雑です。 AlphaGo Zero ゲームのマイルストーンにより AGI が簡単すぎるように見えると主張する人もいますが、機械に一般的な知能を教えるには、囲碁をプレイすることを教えるよりもはるかに多くのトレーニング例が必要であることを考慮する必要があります。幅広いタスクを実行するには、より広範囲の依存関係を考慮し、アクションからユーティリティへのより複雑なマッピングを理解する必要があります。これをさらに調査するには、解決されたさまざまな AI 問題のサンプル パフォーマンスを比較し、汎用知能がどの程度複雑になる必要があるかに基づいて AGI のサンプル パフォーマンスを推定します。しかし、AlphaGo Zero ゲームのマイルストーンが物事を困難にしすぎたのには理由がある。まず、AlphaGo Zero は、AGI システムに必要な事前の知識を一切使用しません。オリジナルの AlphaGo を見ると、必要なゲーム数は AlphaGo Zero よりも桁違いに少なく、より一般的な学習タスクによってパフォーマンスがさらに向上した可能性があります。第二に、人間の脳をシミュレートすることで、1桁から数桁の保守性が組み込まれる可能性があります。現在のハードウェア構成に基づいて人間の脳の計算機能を実行するようにシミュレートすることは、非常に非効率的である可能性があります。つまり、人間の脳は、シミュレートするために必要な計算のごく一部しか使用しない可能性があります。したがって、AlphaGo Zero のマイルストーンに到達するのが AGI にとって早すぎるのか遅すぎるのかを判断するのは困難です。

AGI の実現にはおそらく 6 年以上かかるだろうと確信できる別の理由があります。 AI コンピューティングのトレンドを見て、次のように自問するだけで十分です。AGI は、AlphaGo Zero が AlexNet に近いのと同じくらい AlphaGo Zero に近いのでしょうか (編集者注: AlexNet は 2012 年に作成されました)。最初のペアの違いが 2 番目のペアの違いよりも大きいと考える場合、AGI は 6 年で達成できるものではないと考えるべきです。

まとめると、AIコンピューティングのトレンドは非常に急速な発展トレンドであり、経済力（GDPが大幅に増加しないと仮定）が3.5年から10年以内に追いつけなくなるほど速いことがわかります。しかし、たとえ数年続いたとしても、この傾向はすでに、AGI の要件に相当すると思われる特定のコンピューティングのマイルストーンを突破できるほどの速さで進んでいます。これには、ホジキン・ハクスリー・ニューロンを使用して、人間の脳が 18 年間考えるのに必要な計算量をシミュレートすることが含まれます。しかし、経済的要因によって AI コンピューティングへのトレンドが止まるまでは、他のマイルストーンは達成されないでしょう。たとえば、ここでの分析は、人間の脳の進化をシミュレートするのに十分な計算能力が（少なくとも）数十年間は得られないことを示唆しています。