研究のアイデアがうまくいかない場合、それはアイデアが悪いからではなく、ハードウェアが追いついていないからかもしれません。

研究アイデアの成功は、そのアイデアが他の研究方向よりも優れているかどうかではなく、適切なハードウェアとソフトウェアがあるかどうかによって決まります。

適切な時期、適切な場所、適切な人材がいなければ、たとえ勝ったとしても惨事に見舞われるでしょう。

——兵法

戦争においては、出来事の成否には常に「時間」「地理的位置」「人」といった複数の要素が関わってきます。コンピュータサイエンスの歴史においても、「ハードウェア」「ソフトウェア」「アルゴリズム」の3つの要素が研究アイデアの成否に影響を与えるといった同様の現象が存在します。

最近、Google Brain の研究者である Sara Hooker 氏は、ある研究アイデアの成功は適切なハードウェアとソフトウェアが利用できるかどうかによるものであり、そのアイデアが他の研究方向よりも優れているからではないことを説明した論文を執筆しました。コンピュータサイエンスの初期の歴史には、ハードウェアの抽選によって成功した研究アイデアが失敗として扱われ、研究の進歩が遅れた例が数多くあります。この現象は、ドメイン固有のハードウェアの出現によって悪化しており、通常の研究経路から逸脱するコストが高くなります。

論文の宛先:

出典: http://arxiv.org/pdf/2009.06489v1.pdf

この論文は、コンピューティング能力の進歩による恩恵はより不均等になる可能性があり、一部の研究方向は急速に進展する一方で、他の研究方向は困難に直面している可能性を示唆している。

人工知能の分野では、ハードウェアがアイデアの成否を決定する

歴史は、科学の進歩が必ずしも順調ではないことを物語っています。知的伝統や利用可能なツールにより、科学者は特定のアイデアに対して異なる認識を持つ可能性があり、それが研究アイデアに可能性があるかどうかを判断する際のノイズとなります。この論文は、人工知能研究の分野では、研究アイデアの成否を判断する上でツールが大きな役割を果たしていると指摘している。

この論文では、この現象を説明するために「ハードウェア ロト」という用語を使用しています。つまり、研究アイデアが成功するのは、そのアイデアが他の研究方向よりも優れているからではなく、その時点で利用可能なハードウェアおよびソフトウェアと互換性があるためです。コンピュータサイエンスの初期の歴史では、ハードウェアとソフトウェアの選択が、研究アイデアの成功または失敗を決定する上で決定的な役割を果たすことが多かった。

ソフトウェア、ハードウェア、機械学習の研究コミュニティ間の緊密な連携という新しい時代を迎えるにあたり、これらの教訓はさらに重要になります。過去数十年にわたり、ハードウェア、ソフトウェア、アルゴリズムは別々のオプションとして考えられてきましたが、最近になってハードウェアの変化、ディープラーニング アーキテクチャにおける「大きいほど良い」という考え、エッジ デバイスへの機械学習の導入の必要性などが、この 3 つをより緊密に連携させるきっかけとなっています。

ハードウェア、ソフトウェア、機械学習アルゴリズム間の緊密な連携の中心にあるのは、ディープ ニューラル ネットワークの商用利用に最適化された新世代のドメイン固有ハードウェアです。ドメイン固有のハードウェアは、主流のディープニューラルネットワーク研究に重要な効率性の向上をもたらしましたが、確立された研究経路から逸脱するコストも増加させました。ハードウェア市場が細分化されるということは、コンピューティング能力の向上から得られる利益がより不均等になることを意味します。ディープ ニューラル ネットワークにはすでに明確な商用シナリオがありますが、AI の次のブレークスルーには、アルゴリズム、ハードウェア、ソフトウェアのまったく異なる組み合わせが必要になる可能性があるという兆候がすでに現れています。

ハードウェア、ソフトウェア、アルゴリズム: 3つの別々の部族

最初のコンピューターの開発者にとって、プログラムこそがマシンでした。初期のマシンは単独での使用を想定して設計されており、電子機器のコストが高く、タスク間対応ソフトウェアが不足していたため、新しいタスクに適応できませんでした。

チャールズ・バベッジの階差機関は多項式関数を計算するためだけに設計された（1817年）。米国初の大規模自動デジタルコンピュータは、Mark I プログラム可能計算機 (1944 年) でした。ローゼンブラットのパーセプトロンは、段階的な単層ネットワークを計算するために使用されました (1958)。最初のプログラム可能な機械とみなされることが多いジャカード織機でさえ、再度穿孔するには費用がかかったため、通常は 1 回しか穿孔されませんでした (1804 年)。

[[345628]]

初期のコンピュータ Mark I

これらの初期のコンピュータの目的に合わせた設計は、その時代のニーズによって推進されたものであり、コンピュータ設計者が、1 回限りのカスタム ハードウェアの方が良いと考えたからではありません。しかし、人間の知能そのものはアルゴリズムと機械の組み合わせであることを指摘しておく必要があります。私たちは生涯に複数の脳を成長させるわけではありません。人間の知能の概念は、本質的に、1400g の脳組織と脳内の 850 億個のニューロンとのつながりに密接に関係しています。人間の知能について話すとき、頭に浮かぶイメージはおそらくピンク色のしわのある塊 (🧠) でしょう。つまり、認知知能を考えるとき、その動作をサポートするハードウェアについて考えずにはいられません。

[[345629]]

ハードウェアを特化する必要があった初期のコンピューティング環境とは異なり、今日の機械学習の研究者は、ハードウェア、ソフトウェア、アルゴリズムを 3 つの別々の選択肢として捉える傾向があります。これは主に、コンピュータ サイエンスの歴史において、既存のハードウェアの種類に革命をもたらし、ハードウェア、ソフトウェア、機械学習の研究コミュニティが独立して発展できるようになった時期によるものです。

汎用コンピュータの時代

1969 年、汎用コンピュータの時代は急速な発展期に入り、若きエンジニアのゴードン・ムーアが「回路基板にさらに多くのコンポーネントを詰め込む」というタイトルの記事を Electronics 誌に発表しました (Moore、1965)。ムーアは、集積回路に収容できるトランジスタの数はおよそ 2 年ごとに倍増すると予測しました。当初、この記事とその後の展開は、ムーア氏がもっと多くのチップを売りたいと思ったという単純な願望から生まれたものでした。しかし、この予測により、今後 50 年間でエネルギーを情報に変換するコストは劇的に低下しました。

ムーアの法則とデナードスケーリングの組み合わせにより、1980 年から 2010 年の間にマイクロプロセッサのパフォーマンスが 3 桁向上しました。計算能力とメモリが 2 年ごとに倍増するということは、ハードウェア設計がリスクを回避できることを意味します。より高いパフォーマンスを必要とするタスクの場合でも、専用ハードウェアへの移行によるメリットは、次世代の汎用ハードウェアによってすぐに上回られてしまいます。

その結果、ハードウェア コミュニティの焦点は、さまざまなタスクを処理できる汎用プロセッサに移りました。ムーアの法則によりチップメーカーは予測可能な利益を得ることができるのに、なぜ不確実な報酬のために特殊なハードウェア設計を実験するのでしょうか?その結果、研究目的の特別なコンピューターを生産する試みは徐々に資金難に陥り、持続不可能になっていった。ただし、例外もあります。たとえば、チェスのようないくつかのタスクは、人間の対戦相手に勝てるという評判があるため、多くの企業のスポンサーを引き付けています。

ハードウェア、ソフトウェア、アルゴリズムを別個の存在として見る姿勢は最近まで続いていました。新しいタイプのハードウェアの検討には、時間と費用の両方の面でコストがかかります。次世代チップの製造には通常、3,000万～8,000万ドルと2～3年の開発期間が必要です。こうした高い参入障壁により、奇妙なハードウェア研究文化が生まれ、あるいはハードウェアの進化が一般的な機械学習研究者にとって遅すぎるという状況が生じています。過去 30 年間で、機械学習に関する論文の数は飛躍的に増加しましたが、ハードウェアに関する論文は当初のペースを維持しています。ハードウェア企業にとって、知的財産の漏洩は生死を分ける意味を持つ場合があります。これにより、研究文化はより閉鎖的になりました。

ハードウェア開発に影響を与える手段がないため、機械学習の研究者は、ハードウェアを成形すべきものではなく埋没費用として合理的に捉えています。しかし、ハードウェアに焦点を当てていないということは、ハードウェアが存在しないということではありません。初期のコンピュータサイエンスの歴史は、ハードウェアとソフトウェアの選択によって研究アイデアの成功または失敗が決まる、ハードウェアくじの存在を物語っています。

ハードウェア抽選

ハンマーしか持っていなければ、すべてが釘に見えます。

—アブラハム・マズロー、1966年

『アンナ・カレーニナ』の最初の一文は、「幸せな家庭はどれも同じだが、不幸な家庭はそれぞれに不幸な面がある」というものである。トルストイはこの一文を使って、幸せな結婚には経済的な安定、性的魅力、共通の価値観、健康な子孫など多くの要素が必要であり、そのうちのどれか一つでも問題があれば、その家庭は崩壊してしまうということを表現した。これは後に「アンナ・カレーニナの原則」として広く知られるようになりました。「1 つの要素がうまくいかなければ、失敗する運命にある」 (Moore、2001)。

アルゴリズムは単独で成功するか失敗するかは私たち次第だと考えがちですが、歴史を振り返ると、コンピュータ サイエンスのブレークスルーのほとんどは「アンナ カレーニナの原則」に従っています。成功と失敗は、多くの場合、いくつかの要素が利益をもたらしているかどうかによって判断されます。 AI 研究では、下流のソフトウェアとハ​​ードウェアの選択における間違いを避けるために、「ハードウェア抽選」に依存することがよくあります。

ハードウェア宝くじの初期の例としては、1837 年にイギリスの数学者チャールズ バベッジによって設計された解析エンジンが挙げられます。これは (理論上は) あらゆる種類の計算を解くようにプログラムすることができました。しかし、バベッジが十分な精度の部品を作るのに苦労したため、解析エンジンは実際には作られませんでした。チャールズ・バベッジが築いた理論的基礎を現実のものにできる電磁気技術は、第二次世界大戦中まで登場しませんでした。

電子真空管は、20 世紀前半に無線通信やレーダーで広く使用されていました。第二次世界大戦中、これらの真空管はドイツのエニグマ暗号を解読するための計算能力を提供するために使用されました。

アメリカのテレビドラマ「シリコンバレー」では、「最初に到着した人が最初に到着するとは限らない」という状況が頻繁に発生します。 1871 年にバベッジが亡くなった時点でも、彼のアイデアと現代のコンピューティングの間には連続した道筋はまだ確立されていませんでした。ストアド プロシージャや条件分岐などの概念は、アイデアが機能することを証明するための適切なツールが利用可能になった 1 世紀後に再発見されました。

失われた数十年

おそらく、ハードウェアの宝くじによる損失の最も顕著な例は、ディープ ニューラル ネットワークです。ディープ ニューラル ネットワークを機能させるアルゴリズム コンポーネントのほとんどは、数十年前から存在しています。たとえば、バックプロパゲーション (1963 年に提案 (K & Piske、1963)、1976 年に再発見 (Linnainmaa、1976)、1988 年に再発見 (Rumelhart 他、1988))、ディープ畳み込みニューラル ネットワーク (Fukushima & Miyake、1982)、および畳み込みニューラル ネットワークは、1989 年にバックプロパゲーションとともに提案されました (LeCun 他、1989)) などです。しかし、30年後、ディープニューラルネットワークは広く受け入れられ、有望な研究方向になりました。

アルゴリズムの開発と実験的な成功の間のギャップの大部分は、ハードウェアの非互換性から生じます。汎用コンピュータの時代では、CPUなどのハードウェアが広くサポートされ、使用されるようになりました。 CPU は複雑な命令セットの実行に優れていますが、中間結果をキャッシュし、一度に 1 つの命令を処理する必要があるため、メモリ コストが高くなります。これはフォン・ノイマン・ボトルネックと呼ばれ、利用可能な計算能力は「CPU とメモリ間のデータ転送の帯域幅によって制限され、データはこのチャネルに沿って順番に渡される必要がある」というものです (Time、1985)。

フォン・ノイマン・ボトルネックは、ディープ・ニューラル・ネットワーク・アーキテクチャのコア・コンポーネントである行列乗算には特に適していません。そのため、CPU でトレーニングを実行すると、メモリ帯域幅がすぐに使い果たされ、多層ニューラル ネットワークをトレーニングできなくなります。 1980 年代の「連想メモリの並列モデル」シリーズの記事では、大規模な並列処理をサポートできるハードウェアの必要性が指摘されました。これらの記事では、生物学的証拠から、ディープ ニューラル ネットワーク手法を機能させるには大規模な並列化が必要であることが示唆されていると主張しています。

1980 年代後半から 1990 年代にかけて、ニューラル ネットワーク専用のハードウェアの概念は目新しい段階を過ぎていました。しかし、関連する試みは、共有されるソフトウェアおよびハードウェアの開発コストの不足によって依然として妨げられています。 1985 年の Connection Machine、1992 年の Space、1989 年の Ring Array Processor、日本の第五世代コンピュータ プロジェクトなど、実際に使用可能な試みのほとんどは、コネクショニスト ディープ ニューラル ネットワークには適さない PROLOG や LISP などの論理プログラミングをサポートするように設計されていました。 HipNet-1 や 1991 年のアナログ ニューラル ネットワーク チップなどのその後の反復は有望でしたが、反復にコストがかかり、カスタム シリコンが必要だったため、短命に終わりました。消費者市場がなければ、経済的に実行可能なエンドユーザーの臨界数は存在しません。

21 世紀の初め、最初のバックプロパゲーション論文が発表されてから 40 年後、コネクショニスト ディープ ニューラル ネットワークを実行するには、ハードウェアが大規模な並列処理をサポートする必要があり、ハードウェアのブレークスルーが必要であることが認識されました。

多くの発明は、後になって、設計者の目的とは別の目的に使用されます。エジソンが発明した蓄音機は、もともと音楽を再生するためのものではありませんでした。彼の当初の考えは、死にゆく人の最後の言葉を保存したり、他の人に綴りを教えたりするために使うというものでした。実際、彼はポピュラー音楽を再生するための蓄音機に失望していた。同様に、ディープ ニューラル ネットワークは、既存のテクノロジが再利用されて初めて機能し始めました。

GPU は、ビデオ ゲーム専用のアクセラレータとして 1970 年代に初めて登場し、映画やアニメーションのグラフィックスを作成するために使用できます。 21 世紀初頭、エジソンの蓄音機の発明と同様に、GPU はディープ ニューラル ネットワークのトレーニングというまったく想像もできなかった用途に使用されました。 GPU は、行列乗算などの単純な分解可能な命令セットの並列化に優れているという点で、CPU よりも大きな利点があります。 1 秒あたりの浮動小数点演算 (FLOPS) の向上と複数の GPU にわたる分散トレーニングを組み合わせることで、ディープ ネットワークのトレーニングが可能になります。

このとき、ネットワーク層の数が重要になります。 ImageNet データセットのパフォーマンスは、2011 年 (Ciresan ら、2011)、2012 年 (Krizhevsky ら、2012)、2015 年 (Szegedy ら、2015b) のように、ネットワークの深さが増すにつれて向上し続けています。 2012 年に、Google は 16,000 個の CPU コアを使用して猫を認識する論文を発表しました (Le 他、2012)。1 年後、Google は 2 個の CPU コアと 4 個の GPU のみを使用して同じ問題を解決しました (Coates 他、2013)。これは効率性が飛躍的に向上した例です。

ソフトウェア抽選

ソフトウェアは研究アイデアの成功または失敗にも影響を及ぼします。 1990 年代半ば以前は、Prolog 言語と LISP 言語が AI コミュニティで広くサポートされていました。当時、AI を学ぶ学生は、これらの言語の 1 つまたは両方を積極的に習得することが期待されていました。 Prolog と LISP は、推論とエキスパート システムの中心となる論理式の処理に特に適しています。

コネクショニストの考え方 (ディープ ニューラル ネットワークなど) を研究したい研究者にとって、1992 年に Matlab が登場するまで適切な言語はありませんでした。 LISP や Prolog を使用してコネクショニスト ネットワークを実装することは難しく、ほとんどの研究者は C++ などの低レベル言語を使用しています。 21 世紀初頭に LUSH と TORCH が登場して初めて、ディープ ニューラル ネットワークに適したソフトウェアの開発をサポートする、より健全なエコシステムが形成され始めました。

利益もあれば損失もあります。 1960 年代から 1980 年代半ばにかけて、主流の研究のほとんどは記号的手法に焦点を当てていました。ディープ ニューラル ネットワークは適切な表現を独自に学習しますが、シンボリック アプローチは、人間が意思決定ルールを使用して問題を解決する方法を再現する知識ベースの構築を目指します。これは通常、LISP および PROLOG 言語に適合する論理的なステートメントのシーケンスとしてエンコードされます。

シンボリック手法は実を結びませんでしたが、20 世紀後半にこの研究方向が広く普及し、人気が続いたのは、当時のプログラミングおよびハードウェア フレームワークへの適応性と切り離せない関係でした。

今後の道

機械コーディング システムは、主にオペレーターが結果を得る際の容易さによって評価される必要があります。

科学の進歩は、複数の要因が科学者に既存のパラダイムの「固執性」を克服する動機を与えたときに起こります。 AI 分野におけるパラダイムシフトのスピードは、主にハードウェア、ソフトウェア、アルゴリズムがどれだけうまく組み合わさっているかによって決まります。したがって、ハードウェアの不公平を回避しようとする場合は、コストと時間を削減するために、さまざまなハードウェア、ソフトウェア、アルゴリズムの組み合わせを検討する必要があります。

しかし、これは言うほど簡単ではありません。ハードウェア、ソフトウェア、アルゴリズムの組み合わせの検索空間を拡大することは難しい作業です。新しいタイプのハードウェアを検討するのは、時間と費用の観点からコストがかかります。次世代チップの製造には通常、3,000万～8,000万ドルと2～3年の開発期間が必要です。製造工場を1つ建設するだけでもコストは高く、2017年には約70億ドルにも上りました。

強化学習を使用してチップレイアウトを最適化する実験は、コスト削減に役立つ可能性があります。これにより、フィールド プログラマブル ゲート アレイ (FPGA) や粗粒度再構成可能アレイ (CGRA) などの再構成可能なハードウェアへの関心も新たに高まりました。これらのデバイスにより、チップ ロジックを再構成して、単一アプリケーションの制約を回避できます。ただし、柔軟性には、より高い FLOPS とカスタマイズされたソフトウェア開発という代償が伴います。 FPGA 上で単純なアルゴリズムをコーディングすることさえ面倒で時間がかかります。

短期から中期的には、ハードウェア開発は依然としてコストがかかり、時間がかかるものとなる可能性が高い。ハードウェアの製造コストは、ハードウェア開発者が許容できるリスクのレベルと実験の量を決定するため重要です。ニューラル ネットワークは多くの商用ユース ケースの基礎となるため、ディープ ニューラル ネットワークに適したハードウェアへの投資は正当化されます。ディープラーニングの下流ユースケースの収益性により、ハードウェア スタートアップの健全なエコシステムが促進され、ディープ ニューラル ネットワークがさらに加速し、大企業がカスタム ハードウェアを社内で開発することが促進されました。

ボトルネックとなっているのは、すぐに商業的に使用できる見込みのないハードウェアへの投資です。これらの高リスクの方向性には、生物学的ハードウェア、インメモリ コンピューティング用のアナログ ハードウェア、ニューロモルフィック コンピューティング、光コンピューティング、量子コンピューティングが含まれます。新しい材料を使用したトランジスタの開発にも、より高いリスクが伴います。

以前のハードウェア抽選の例から学ぶことは、投資は民間資金と公的資金の両方のプロジェクトから引き続き行われるべきだということです。 2018年にDARPAのエレクトロニクス再興イニシアチブがマイクロエレクトロニクス研究に15億ドルを投じたことや、中国が半導体研究に470億ドルの投資を発表したことからもわかるように、このような専用リソースを提供することへの公共部門の関心は徐々に高まりつつあります。しかし、新素材をベースにしたハードウェアの開発には10～20年かかり、公的投資は現時点では依然として産業研究開発のレベルをはるかに下回っているため、このような大規模な投資は依然として大した額にはならない可能性が高い。