AIが70年間で急成長した理由が明らかに！タイム誌の4枚の写真がアルゴリズムの進化の謎を明らかにする

過去 10 年間の AI システムの進歩のスピードは驚くべきものでした。

2016年の囲碁対局でアルファ碁がイ・セドルに勝利したことは、始まりだった。今日、AI は人間よりも優れた画像や音声を認識し、ビジネス スクールの試験に合格し、Amazon のプログラミング面接の質問に答えることができます。

先週、米国上院司法委員会はAI規制に関する公聴会を開催した。

会議で、有名なAIスタートアップ企業であるAnthropicのCEO、ダリオ・アモデイ氏は次のように述べた。「AIについて理解する上で最も重要なことは、それがどれだけ速く発展しているかということです。」

最近、タイム誌は、AI の発展がなぜ減速しないかを 4 枚の写真を使って説明する記事を掲載しました。

人間はAIに追い抜かれつつある

現在、AI は多くのタスクで人間を上回っており、新しいタスクで人間が上回る割合は増加しています。

下の図は、ベンチマーク テストにおける SOTA モデルと人間のパフォーマンスを比較したものです。

テストされた機能は、手書き認識 (MNIST)、音声認識 (Switchboard)、画像認識 (ImageNet)、読解 (SQuAD 1.1 および SQuAD 2.0)、言語理解 (GLUE)、常識補完 (HellaSwag)、小学校数学 (GSK8k)、およびコード生成 (HumanEval) です。

人間のパフォーマンスは100%に設定されています

科学技術の進歩は根本的に予測不可能であり、事後に初めて明らかになる洞察によって推進されると考えられがちです。

しかし、AI システムの進歩は、コンピューティング、データ、アルゴリズムという 3 つの入力の進歩によって推進されると予想されます。

過去 70 年間の進歩のほとんどは、研究者が AI システムのトレーニングにこれまで以上に優れた計算能力を活用したことで実現しました。

システムにさらに多くのデータが入力されるか、より強力なアルゴリズムが存在するため、同じ結果を達成するために必要な計算量やデータの量が効果的に削減されます。

これら 3 つの要因が過去に AI の進歩をどのように推進してきたかを理解すると、ほとんどの AI 実践者が AI の進歩が減速するとは予想していない理由が理解できるようになります。

計算負荷の増加

最初の人工ニューラル ネットワークである Perceptron Mark I は 1957 年に開発され、カードの左側にマークが付いているか右側にマークが付いているかを判別できるようになりました。

1,000 個の人工ニューロンを備えた Mark I の場合、トレーニングには約 7x10^5 回の操作が必要です。

70 年以上経って、OpenAI は大規模な言語モデル GPT-4 をリリースしました。このモデルでは、1 回のトレーニングに約 21x10^24 回の演算が必要です。

計算能力の向上により、AI システムはより多くのデータのより多くの例から学習できるだけでなく、変数間の関係をより詳細にモデル化できるため、より正確で詳細な結論を導き出すことができます。

1965 年以来、集積回路内のトランジスタの数はおよそ 2 年ごとに倍増するというムーアの法則により、コンピューティング能力の価格は着実に低下してきました。

しかし、研究機関エポックの所長ジェイム・セビリア氏は、研究者たちはAIシステムの訓練にどれだけのコンピューティングが使われるかよりも、AIシステムを構築するための新技術の開発に重点を置いていると述べた。

しかし、2010年頃に研究者が「訓練されたモデルが大きいほど、パフォーマンスが向上する」ことを発見したことで状況は変わりました。

それ以来、彼らはさらに大きなモデルを訓練するために、ますます多くの資金を費やし始めました。

AI システムのトレーニングには高価な専用チップが必要であり、開発者は独自のコンピューティング インフラストラクチャを構築するか、クラウド コンピューティング プロバイダーにインフラストラクチャへのアクセス料金を支払う必要があります。

この支出が今後も増加し、ムーアの法則によってもたらされるコスト削減と相まって、AI モデルはますます強力なコンピューティング能力でトレーニングできるようになります。

OpenAIのCEOサム・アルトマン氏によると、GPT-4のトレーニングコストは1億ドルを超えたという。

業界トップの2社であるOpenAIとAnthropicは、AIシステムのトレーニングにかかる​​計算コストを賄うために投資家からそれぞれ数十億ドルを調達し、資金力のあるテクノロジー大手（Microsoft、Google）と提携関係を築いています。

AIシステムのトレーニングに使用されるコンピューティングの量は1950年以降増加しており、2010年までに増加率も増加した。

データ量の増加

AI システムは、トレーニング データ内の変数間の関係のモデルを構築することによって機能します。

「家」という単語が「走る」という単語の隣にある可能性であろうと、遺伝子配列とタンパク質の折り畳み（タンパク質が三次元の形で機能を獲得するプロセス）の間のパターンであろうと。

一般的に言えば、データが増えるということは、AI システムがデータ内の変数間の関係を正確にモデル化するための情報が増えることを意味し、それによってパフォーマンスが向上します。

たとえば、より多くのテキストが入力された言語モデルには、「ru​​n」の後に「home」が続く文の例が多くなります。この語順は、野球の試合を説明したり、成功を強調したりする文章でよく使用されます。

パーセプトロン マーク I に関する最初の研究論文では、6 つのデータ ポイントのみを使用してトレーニングされたことが指摘されています。

論文アドレス: https://blogs.umass.edu/brain-wars/files/2016/03/rosenblatt-1957.pdf

比較すると、Meta が 2023 年にリリースした Large Language Model (LLaMA) は、約 10 億のデータ ポイントを使用してトレーニングされました。これは、Perceptron Mark I の 1 億 6000 万倍以上です。

このデータには、Common Crawl データが 67%、GitHub が 4.5%、Wikipedia が 4.5% 含まれています。

AIモデルのトレーニングに使用されるデータの量は過去70年間で劇的に増加した。

トレーニング データ サイズとは、AI モデルのトレーニングに使用されるデータの量を指し、モデルが学習できる例の数を示します。

各ドメインには、視覚モデルのトレーニング用の画像、言語モデルの単語、ゲーム モデルのタイム ステップなど、データ ポイントの特定の入力単位があります。つまり、システムは同じドメイン内でのみ比較できます。

アルゴリズムの進歩

アルゴリズムとは、実行される一連の操作を定義する一連のルールまたは命令であり、AI システムが計算能力を使用して特定のデータ間の関係をモデル化する精度を決定します。

研究者たちは、より多くのデータで AI をトレーニングするためにますます多くの計算能力を使用するだけでなく、より少ないリソースでより多くの効果を得る方法を模索しています。

Epoch の調査によると、「9 か月ごとに、より優れたアルゴリズムが導入されると、コンピューティング予算が 2 倍になる」ことがわかりました。

時間の経過とともによく知られているモデルと同様のパフォーマンスを達成するためのトレーニング済みモデルのパレート境界

アルゴリズムの進歩とは、モデルがより少ない計算量とデータで同じパフォーマンス レベルを達成できることを意味します。

次のグラフは、6 年間にわたる画像認識テストで 80.9% の精度を達成するために必要な計算量とデータ ポイントの数を示しています。

1 兆個のデータ ポイントでトレーニングされたモデルの場合、2021 年にトレーニングされたモデルでは、2012 年にトレーニングされたモデルよりも約 16,500 倍少ないコンピューティングが必要です。

画像認識テストで80.9%の精度を達成するために必要な計算量とデータの量

この調査は、ImageNet ベンチマークの ResNeXt-101 コンピューター ビジョン システムに関するもので、計算は FLOP で測定され、データはトレーニング セット内の画像数で測定されます。

AIの次の段階

セビリア氏の予測によれば、研究者がシステムのトレーニングに使用するコンピューティングの量は、現在の加速度で当面増加し続けると予想され、企業が AI システムのトレーニングに費やす金額も増加する一方、コンピューティング コストが下がり続けるにつれて効率も向上するだろう。

この時点では、計算量をさらに増やしてもパフォーマンスはわずかにしか向上しません。この後も計算量は増加し続けますが、その速度は遅くなります。これはすべて、ムーアの法則によりコンピューティングのコストが下がったためです。

現在、AI システム (LLaMA など) で使用されるデータはインターネットから取得されます。これまで、AI システムに入力できるデータの量は、主に利用可能な計算能力によって決まりました。

最近、AI システムのトレーニングに必要なデータ量が爆発的に増加しており、インターネット上で新しいテキスト データが生成される速度を上回っています。

その結果、エポック社は、研究者が2026年までに高品質の言語データを使い果たすだろうと予測している。

しかし、AI システムを開発する人々はこの問題についてあまり心配していないようです。

「データ状況はかなり良好です」と、OpenAIの主任科学者であるイリヤ・スツケバー氏は、3月にLunar Societyのポッドキャストに出演した際に語った。「利用可能なデータは豊富にあります。」

ダリオ・アモデイ氏は7月のハードフォークポッドキャストで、「十分なデータがない場合、この拡張が影響を受ける可能性は10％程度だろう」と推定した。

セビリア氏はまた、データ不足が、低品質の言語データを活用する方法を見つけるなど、AIのさらなる発展を妨げることはないと考えている。コンピューティングとは異なり、データ不足はまだ AI 開発のボトルネックにはなっていないからです。

彼は、イノベーションの面では、研究者たちがこの問題を解決するための多くの簡単な方法を見つける可能性が高いと予測している。

これまでのところ、アルゴリズムの改善のほとんどは、計算能力をより効率的に使用するという目標から生まれています。エポック社は、過去のアルゴリズムの進歩の4分の3以上がコンピューティングの欠陥を補うために使われたことを発見した。

将来的には、データが AI トレーニングの開発におけるボトルネックとなるため、データ不足を補うためにさらなるアルゴリズムの改善が行われる可能性があります。

これら 3 つの要素をすべて考慮すると、セビリア氏を含む専門家は、今後数年間 AI の進歩は驚異的なペースで続くと予測しています。

企業がより多くの資金を投資し、基盤となるテクノロジーが安価になるにつれて、コンピューティング量は増加し続けるでしょう。

インターネット上に残っている有用なデータは AI モデルのトレーニングに使用され、研究者はコンピューティング能力とデータをより有効に活用するために AI システムをトレーニングおよび実行するより効率的な方法を模索し続けるでしょう。

そして、ここ数十年における AI の発展傾向は今後も続くでしょう。

もちろん、この傾向は多くの AI 専門家を心配させています。

上院委員会の公聴会で、アンスロピック社のアモデイ最高経営責任者（CEO）は、AIが進歩し続ければ、2～3年以内に一般の人々が専門家ですらアクセスできない科学的知識にアクセスできるようになるだろうと示唆した。

これがサイバーセキュリティ、原子力技術、化学、生物学などの分野に深刻な損害や悪用を引き起こす可能性があることは、誰にも想像できません。