人工知能がチップのルネッサンスを推進

半導体はデジタル時代の基盤技術です。アメリカのシリコンバレーの名はこれに由来しています。過去半世紀にわたり、コンピューティング技術の革命は社会のあらゆる側面を変えてきましたが、この革命の中核にあるのが半導体技術です。

1971 年に Intel が世界初のマイクロプロセッサを発表して以来、コンピューティング能力は驚異的なスピードで進化してきました。ムーアの法則によれば、現在のコンピュータチップは 50 年前のチップよりも何百万倍も高性能です。

数十年にわたって処理能力が急速に向上したにもかかわらず、コンピュータ チップの基本的なアーキテクチャはこれまでほとんど変わっていません。チップの革新には、集積回路がより多くのトランジスタを収容できるように、トランジスタのサイズをさらに縮小することが必要になります。数十年にわたり、Intel や AMD などのメーカーは CPU パフォーマンスの向上によって大きな進歩を遂げてきました。Clayton Christensen 氏はこれを「継続的なイノベーション」とみなしています。

今日、この状況は劇的に変化しています。人工知能 ( AI ) は半導体イノベーションの「新たな黄金時代」を引き起こしました。機械学習は独特の市場需要と無限の機会をもたらし、起業家に初めてチップアーキテクチャの基礎を再考するきっかけを与えました。

彼らの目標は、ハードウェア全体で最大の市場機会の 1 つである次世代コンピューティングを強化するために、AI 専用に設計された新しいタイプのチップを設計することです。

[[326007]]

新しいコンピューティングパラダイム

コンピューティング技術の発展の歴史を通じて、主流のチップ アーキテクチャは常に CPU でした。 CPU は現在、ノートパソコン、モバイル デバイス、ほとんどのデータ センターに広く普及しています。

1945 年、伝説のジョン・フォン・ノイマンがCPU の基本アーキテクチャを考案しました。驚くべきことに、彼の設計はそれ以来ほとんど変更されておらず、今日でもほとんどのコンピューターはフォン・ノイマンの理論に基づいた機械です。

CPU の柔軟性により、さまざまな用途が可能になります。CPU は汎用性が高く、ソフトウェアに必要なあらゆる計算を効率的に実行できます。しかし、CPU の主な利点は汎用性ですが、今日の主要な AI テクノロジーには非常に特殊で集中的な種類のコンピューティングが必要です。

ディープラーニングでは、比較的単純な乗算と加算のステップを何百万、あるいは何十億も繰り返し実行する必要があります。ディープラーニングは線形代数に基づいており、基本的には試行錯誤に基づいています。つまり、モデルが最適化されるにつれて、パラメータが調整され、行列が乗算され、ニューラル ネットワーク全体で数値が繰り返し合計されます。

この反復的で計算集約的なワークフローは、ハードウェア アーキテクチャに重要な要求を課します。 「並列化」が重要になります。「並列性」とは、プロセッサが複数の計算を次々に実行するのではなく、同時に実行する能力を指します。これと密接に関連しているのは、ディープラーニングでは大量のデータが継続的に変換されるため、チップのメモリとコンピューティング コアをデータが配置されている場所にできるだけ近づけて配置すると、データの移動が減り、速度と効率が大幅に向上するということです。

CPU はまだ、機械学習の独自の要求をサポートできるほど強力ではありません。 CPU は、コンピューティング タスクを並列ではなく順次処理します。CPU のコンピューティング コアとメモリは通常、別々のモジュールに配置され、帯域幅が制限された通信システム (バス) によって接続されます。これにより、データ移動に「フォン・ノイマン・ボトルネック」と呼ばれるボトルネックが発生し、CPU 上でニューラル ネットワークをトレーニングする際の効率が非常に低下します。

機械学習の人気が高まるにつれ、従来のチップではもはや現代の AI アルゴリズムの要件に対応できないことがますます明らかになっています。 AI の専門家である Yann LeCun 氏は最近、次のように語っています。 「5 年か 10 年先の未来に行って、コンピューターが主に何をしているかを見ることができたら、それはおそらく機械学習のようなものになると思います。」

現時点では、AI の繁栄と発展を促進するために GPU が必要です。 GPU アーキテクチャは、1990 年代後半にNvidia によってゲーム アプリケーション向けに開発されました。当時、GPU は大量のデータを継続的に処理し、コンピューター ゲームのグラフィックを高フレーム レートでレンダリングするように特別に設計されていました。 CPU とは異なり、GPU は何千もの計算タスクを並列に実行できます。

2010 年代初頭、AI コミュニティは、Nvidia のゲーミング チップが機械学習アルゴリズムに必要なワークロードの処理に実際に適していることに気づき始め、GPU は幸運にも新しいターゲット市場を見つけました。 Nvidia はこの機会を捉え、「AI ハードウェアの大手プロバイダー」としての地位を確立し、驚異的な利益を獲得しました。2013 年から 2018 年にかけて、Nvidia の時価総額は 20 倍に増加しました。

しかし、ガートナーのアナリストであるマーク・ハン氏は「GPUがAIワークロードに最適化されていないことはよく知られている」と語っています。AI分野ではGPUが広く採用されていますが、AIのために生まれたわけではありません。

近年、多くの起業家や技術者がコンピューターチップを再考し、ゼロから最適化して AI の無限の可能性を解き放ち始めています。アラン・ケイはかつて、次のような印象的な言葉を残しています。 「ソフトウェアに真剣に取り組む人は、自分のハードウェアを自分で構築すべきだ。」

過去2年間で、5つの半導体ユニコーン企業が登場し、多くのスタートアップ企業の評価額​​は驚異的になっています。伝統的なCPU大手のインテルは、混乱を避けるために、2016年4月にNervana Systemsを4億800万ドルで買収し、2019年12月にはHabana Labsを20億ドルで買収するという2つの大規模な買収を行った。この数十億ドル規模の市場を獲得するための競争は、今後数年間も続くだろう。

次のインテルは誰になるでしょうか?

巨大な市場機会と巨大な技術的課題が相まって、理想的な AI チップを作成するという意図を持った数多くの素晴らしいアイデアが生まれました。

新世代の AI チップ スタートアップ企業の中で、最も注目を集めているのが Cerebras Systems です。簡単に言えば、セレブラスはこれまでで最大のチップを大胆に開発したのです。セレブラスは最近17億ドルの評価額を獲得し、ベンチマークやセコイアなどの大手投資家から2億ドルを調達した。

Cerebras チップは驚異的な仕様を備えています。一般的なマイクロプロセッサの 60 倍の大きさで、1 兆個を超えるトランジスタ (正確には 1.2 兆個) を搭載した初のチップです。オンチップメモリ​​も18GBと、過去最高容量です。

すべてのコンピューティング能力を 1 つのチップに詰め込むことのメリットは非常に魅力的です。データ転送効率が大幅に向上し、メモリと処理が同じ場所に配置され、大規模な並列処理が可能になります。しかし、エンジニアリング上の課題も膨大です。何十年もの間、ウェーハ スケールのチップの製造は半導体業界の夢でしたが、実現したことはありませんでした。

「すべてのルール、すべてのツール、すべての製造装置は、チョコチップクッキーサイズの通常サイズのチップ用に設計されていますが、私たちはクッキー皿サイズのチップを製造しています」とセレブラスのCEO、アンドリュー・フェルドマン氏は語る。「ですから、私たちはすべての工程をゼロから行っています。」

セレブラスのAIチップはすでに商用化されており、先週、アルゴンヌ国立研究所は、新型コロナウイルスと戦うためにセレブラスのチップを使用すると発表した。

まったく新しいチップ設計アプローチを採用したもう 1 つの企業は、米国のベイエリアに拠点を置く Groq です。 Cerebras と比較すると、Groq のチップはモデルのトレーニングではなく推論に重点を置いています。 Groq の創設チームは世界クラスの専門知識を有しており、これまでで最も初期かつ最も成功した AI チップの 1 つである Google TPU プロジェクトのオリジナル メンバー 10 人のうち 8 人が Groq チームに加わっています。

Groq は業界の従来の概念を覆し、バッチ サイズが「1」、つまり一度に 1 つのサンプルを処理するチップを構築しています。 Groq 氏によると、このアーキテクチャはパフォーマンスを犠牲にすることなくほぼ瞬時の推論を可能にし、これは自動運転車などの時間に敏感なアプリケーションにとって非常に重要になります。 Groq のチップは主にソフトウェア定義型であるため、独自の柔軟性と将来性を備えています。

Groq は最近、同社のチップが毎秒 1 兆回の演算速度を達成したと発表した。もしこれが本当なら、史上最速のシングルダイチップとなる。

他のどの企業よりも優れた技術的ビジョンを持つ企業がもうひとつあります。それが Lightmatter です。 Lightmatter は数人のフォトニクス専門家によって設立され、米国ボストンに本社を置いています。 Lightmatter は、電気信号ではなく光線で駆動する AI マイクロプロセッサを構築しています。 Lightmatter はこのビジョンを実現するために、GV、Spark Capital、Matrix Partners などの投資家から 3,300 万ドルを調達しました。 Lightmatter によれば、この独自の光学技術により、チップのパフォーマンスは既存のソリューションよりも 10 倍向上します。

この分野には注目に値する企業が他にもあります。中国の2社、Horizo​​n RoboticsとCambricon Technologiesは、それぞれより多くの資金とより高い時価総額を獲得した。

パロアルトに拠点を置く SambaNova Systems も資金が豊富で技術的に洗練されており、SambaNova についての詳細はまだほとんど明らかにされていないものの、同社の技術は自然言語処理に特に適しているようです。

その他の注目すべきスタートアップには、Graphcore、Wave Computing、Blaize、Mythic、Kneron などがあります。

それだけでなく、多くのテクノロジー大手も、前述の Google TPU などの専用 AI チップを独自に開発し始めています。 Google は 2015 年に TPU の開発を開始し、テクノロジーの先頭を走り続けています。Amazon は昨年 12 月に Inferentia AI を大々的に発表しました。一方、Tesla、Facebook、Alibaba などのテクノロジー大手もこの動きに加わり、社内で AI チップを開発しています。

要約する

現在、来たる AI 時代に必要なハードウェアの開発競争が進行中です。現在、半導体業界ではシリコンバレーの初期の頃から比べるとかつてないほど多くのイノベーションが起こっており、巨額の資金が投資されています。

今後数年間で、次世代チップが人工知能分野の形と軌道を形作ることになるでしょう。ヤン・ルカン氏は次のように述べています。「ハードウェアの機能は、AI 研究者が想像し追求できるアイデアを刺激する一方で、それを制限もします。私たちが利用できるツールは、常に私たちの可能性の限界を押し広げていることを認めなければなりません。」