AIチップのスタートアップ企業が実装の道を探り、開発が成熟

ここ数年、AIチップの新興企業が雨後の筍のように出現した。現在、初期の参加者グループは、優れたチップ設計と世界的な流通チャネルによって独自の市場競争上の優位性を確立しながら、モジュールやチップ カードを追加することで成熟し、製品範囲を拡大し始めています。

[[349275]]

Hailoモジュール

イスラエルの AI チップ スタートアップ企業 Hailo は、主にエッジ アプリケーション シナリオ向けに、Hailo-8 AI アクセラレータ チップをベースにした 2 つの AI アクセラレータ モジュールをリリースしました。これらのモジュールは標準の M.2 および mini-PCIe 形式を使用し、スマート シティ、スマート リテール、スマート ホーム、インダストリー 4.0 アプリケーション シナリオにおけるファンレス「エッジ デバイス」に適しています。これらのエッジ デバイスは主に、マルチビデオ ストリーム分析などのタスクを実行するために使用され、エッジ展開によるデータの集中化によって生じる遅延の削減とプライバシーの問題の回避を目的としています。

Hailo-8 の「ファブリック定義データフロー」アーキテクチャにより、3 TOPS/ワットで 26 TOPS の処理性能を実現できます。車載グレードのライセンスを取得しており、ASIL-B アプリケーションに適しており、AEC-Q100 グレード 2 認定を受けています。

Hailo は最近、同社のモジュールがさまざまなパフォーマンス ベンチマーク (Google Edge TPU 向けに最適化された EfficientNet-EdgeTPU を含む) において Intel Myriad-X および Google Edge TPU (Coral M.2) モジュールを総合的に上回ったことを示す新しいデータもリリースしました。 Hailo-8 のパフォーマンスが最大 26 TOPS であるのに対し、他の 2 つの競合製品のピークパフォーマンスはわずか 4 TOPS であることを考えると、この結果は驚くべきものではありません。しかし驚くべきことに、Hailo の内部テストでは、Google の Edge TPU モジュールの平均パフォーマンスは、一見同様のパラメータを持つ Intel の Myriad-X モジュールの最大 2 倍になる可能性があることが判明しました。

Hailo チップは、市場をリードする 2 つのチップと競合しています。図のバーには、さまざまなモジュールで 1 秒あたりに処理されるフレーム数が表示されています。

Hailo-8はすでにFoxconnのエッジデバイスBOXiedgeで使用されており、主にエッジでのビデオ処理に使用されています。このファンレスデバイスには、Socionext の SynQuacer SCA11 並列プロセッサと Hailo-8 が搭載されており、ディープラーニングの推論プロセスを高速化するために使用できます。

テルアビブを拠点とするこのスタートアップは2017年に設立され、現在100人以上の従業員を抱えている。現在までに、同社は NEC や ABB などの戦略的投資家から 8,800 万ドル以上を調達しています。

Groq カード

Groq は現在、8 枚の PCIe カードを 1 枚に統合し、データ センターで AI 推論を迅速に実行できるサーバー ノードの形で、テンソル ストリーミング プロセッサ (TSP) チップを販売しています。 Groq の TSP は 1 POPS (1000 TOPS) に達し、業界で最も強力な TSP の 1 つとなっています。 Groq が発表したデータによると、ResNet-50 v2 データセットでバッチサイズ 1 のテストで 18,900 IPS (1 秒あたりの推論回数) を達成でき、これは間違いなく現在入手可能な最速の商用 AI アクセラレータ チップです。

Groq のプロセッサは極めて合理化されたハードウェア設計を備えており、実行計画タスクはソフトウェア レベルで実行されます。 Groq のコンパイラーは、すべてのデータ フローとタイミングを調整して計算が中断しないようにし、レイテンシとパフォーマンスをより予測可能にする役割を担います。

同社は最近、新たな資金注入を受けたと発表したが、調達した資金の具体的な金額については明らかにしなかった。 Groq 社はまた、自動車業界を含む視聴者市場を拡大していることを示唆した。

Groq ノードは 8 個の TPU チップを搭載した 5U デバイスで、最大 6 POPS の AI 推論パフォーマンスを提供できます。

新しい Groq ノードは 8 枚の Groq カード (8 個の TPU チップ) を統合し、6 POPS パフォーマンスを提供し、サイズは 5U、消費電力は 3.3 kW です。 Groq 氏は、このパフォーマンスと電力消費の完璧な組み合わせにより、データ センターの総所有コスト (TCO) を最適化する上で製品に大きな利点がもたらされると説明しました。

Graphcore 配信ネットワーク

英国のAIアクセラレータスタートアップであるGraphcoreは、グローバルチャネルパートナーネットワークを正式に設立したと発表した。

同社は2018年にチップ製品を最初に発売した企業の1つであり、今夏には第2世代のチップを発表した。 Colossus Mark 2 の発売は、市場リーダーである Nvidia と真っ向から競争するという Graphcore の野望を運ぶものであり、データセンターで最大約 250 TFLOPS の AI トレーニング パフォーマンスを実現できます。 Graphcore のシステムレベル ソリューション IPU デバイスは、4 つの Colossus Mark 2 チップを搭載した 1U サーバー ブレードであり、FP16 精度でペタフロップス レベルの AI コンピューティング パワーを提供します。また、16 個の IPU デバイスを直列または並列で動作させることができる IPU-POD も提供します。

Graphcore の IPU-POD には、HPC アプリケーション用の 16 個の IPU デバイス (合計 64 個の IPU チップ) が含まれています。

Graphcore社は、同社のIPUが金融サービス、ヘルスケア、消費者向けインターネット、学術研究など多くの分野で実用化されていると述べた。

Graphcore の「エリート パートナー プログラム」は、IPU デバイスの販売代理店と再販業者のネットワークを構築することを目的としています。パートナーには、サーバーメーカーの Dell、Inspur、2CRSI、科学用スーパーコンピュータメーカーの Atos、欧州の販売代理店 Boston Limited、システムインテグレーターの BSI、中国の販売代理店 Digital China、科学計算販売代理店の Lambda、香港を拠点とする Macnica Cytech、米国連邦政府顧客向けの Meadowgate Technologies、韓国の販売代理店 Megazone、英国の HPC 技術販売代理店 OCF、HPC サーバーメーカーの Penguin Computing、販売代理店の Tech Data Europe および US、さらにミッションクリティカル/米国政府専門サプライヤーの Wildflower International などが含まれます。