AIの次の目的地：リアルタイムサービス

リアルタイムサービスの波が徐々に私たちの日常生活に浸透するにつれ、コンピューティングインフラストラクチャも大きな変化を遂げ始めています。自然言語を使用して即時のパーソナルインテリジェントアシスタントを提供することから、店舗分析を通じて顧客のショッピング行動に関する結論を生成することまで、さまざまなリアルタイムサービスの出現により、サービスプロバイダーに前例のない巨大な市場スペースがもたらされました。

これらのサービスから価値を引き出すには、データと洞察にすぐにアクセスできることが基本的な前提条件であり、明らかに、この機能には AI テクノロジーが基盤として大きく必要になります。そのため、Amazon Web Services (AWS)、Microsoft、Alibaba、SK Telecom などのクラウド大手は、このようなサービス ソリューションを提供するために独自のコンピューティング インフラストラクチャを開発しています。

[[327739]]

データ センターのオペレーターは、リアルタイムの応答要件を満たすためにコンピューティングを最適化する必要もあります。このため、IT アーキテクチャは、継続的かつ急速に変化するワークロードとアルゴリズムの要件 (主に AI によって推進される) に対応するだけでなく、コンピューティング リソースとストレージ/ネットワーク リソース間の統合レベルをさらに向上させる必要があります。

これにより、サービス プロバイダーには新たな課題が生じます。つまり、高スループット、低レイテンシ、柔軟なソフトウェア/ハードウェア スタックを備え、差別化と優れたパフォーマンスを実現できるインフラストラクチャ プラットフォームを提供することが求められます。また、このプラットフォームは、Apache Spark クラスター コンピューティング フレームワークに基づくリカレント ニューラル ネットワーク、長期/短期記憶ネットワーク、畳み込みニューラル ネットワーク、クエリ高速化に至るまでの実用的なタスクを処理できる必要があります。

この差別化を確立するために、サービス プロバイダーは独自のハードウェアおよびソフトウェア スタックを構築し始めています。たとえば、AWS Advanced Query Accelerator は、カスタムソフトウェアとプログラム可能なハードウェアスタックを含むデータ分析プラットフォームです。 SK Telecom は最近、独自のカスタマイズされたソフトウェアとプログラム可能なハードウェア スタックに基づく AI 対応の音声およびビデオ分析ソリューションも開発しました。

次世代のコンピューティングでは、リアルタイムのパフォーマンス、最高のスループット、低レイテンシ/低消費電力を必要とするビジネスユースケースに対応するために、ハードウェアとソフトウェアの両方がプログラム可能で、ソフトウェアとソフトウェアを 1 か所に統合​​し、適応性も必要になります。リアルタイム ソリューションの成長と人工知能技術の発展、ワークロードの増加、非構造化データの爆発的な増加により、データ センターの開発方向は、コンピューティング、ストレージ、ネットワークの適応性の加速へと向かっています。

リアルタイム予測

学術研究者は現在、高性能コンピューティング (HPC) を使用して、さまざまな非常に複雑な現実世界の問題を解決しています。洞察処理と大規模な HPC 導入を加速するには、生のコンピューティング能力、エネルギー効率、適応性が、プロジェクトの最終的な運命を決定する前提条件となっています。

世界で最も難しい科学的疑問の一つに答えるため、欧州原子核研究機構（CERN）の約2万人の科学者のコンソーシアムが宇宙の起源を再現しようとしている。これを実現するために、研究者は技術の限界を押し広げ続けなければなりません。

大型ハドロン衝突型加速器は世界最大の粒子加速器です。長さ27キロメートルの円形トンネルは、粒子を前例のないエネルギーレベルまで加速できる超伝導磁石で構成されています。各陽子はトンネル内を毎秒11,000回周回し、その速度は光速に近い。また、円形トンネル（陽子は 25 ナノ秒ごとに 1 回通過）内には陽子が衝突する 4 つの位置決めポイントも配置されています。衝突の状況は粒子検出器によって捕捉され、記録されます。

トリガー システム全体は 2 つのレイヤーで実装されています。最初のレイヤーのトリガーでは、AI テクノロジーが約 3 マイクロ秒以内にイベント処理を完了する必要があり、推論遅延に非常に高い要求が課せられます。第2層に関しては、当然ながら大量のデータ伝送帯域幅となります。

CPU と GPU は、このような要件を満たすことができません。そこで研究者らは、放射線地帯から離れた地下100メートルで分析アルゴリズムを実行するためのFPGAネットワークを構築した。このアルゴリズムは、生成されたデータを即座にフィルタリングし、新しいサブ粒子構造を識別するように設計されており、それによって暗黒物質やその他の重要な物理現象の存在を証明します。これらの FPGA は、従来のニューラル ネットワークと畳み込みニューラル ネットワークの両方を実行し、センサー データを受信して​​調整し、追跡とクラスタリングを実行し、機械学習によるオブジェクト認識を実行し、機能をトリガーします。これらはすべて、イベント データをフォーマットして配信する前に実行されます。その結果、このネットワークの推論遅延は極めて低くなります（約 100 ナノ秒）。

リアルタイム分析のためのストレージサポートの提供

高速ストレージ ソリューションの導入と、データ集約型アプリケーションの実際の使用例におけるより高いパフォーマンス要件により、既存の CPU、メモリ、ストレージがボトルネックになっています。この目的のために、研究者は計算能力から計算ストレージを介したデータ処理の完了に焦点を移しました。この変化は、アプリケーションのパフォーマンスと全体的なインフラストラクチャの効率にも大きな影響を及ぼしました。

最も実現可能な解決策は、当然ながら、コンピューティングとデータの距離を可能な限り縮めることです。データ分析とストレージを統合すると、システム レベルでのデータのボトルネックを大幅に削減し、並列処理を向上させ、全体的な電力消費を削減できます。このアプローチは、IBM や Micron Technology などのメーカーによってもサポートされており、これらのメーカーは、すべての処理ソリューションがデータを中心に据えられるよう、このアプローチに基づいて高速ストレージや計算ストレージ製品を開発しています。サムスン電子はまた、フラッシュメモリをバックボーンとして使い、CPUとメモリの限界を克服する高性能な加速コンピューティングシステムを構築するSmartSSDも発売した。 Samsung SmartSSD は、データが存在する場所にインテリジェンスをプッシュすることで、速度と効率を向上させ、運用コストを削減します。

複雑なネットワーク

仮想化コンピューティングとコンテナ化されたワークロードの登場により、ネットワークはますます複雑になっています。これらの環境を単一のサーバーを超えて拡張する場合、複雑なオーバーレイ ネットワークと一致させる必要があります。オーバーレイ ネットワークの本質は、パケット カプセル化の概念を通じて動的に作成および維持される仮想化システムです。このカプセル化を管理すると、必然的にオペレーティング システムまたは仮想化カーネルの処理負荷が増加します。このようなソリューションを従来のネットワーク タスクと組み合わせて使用​​すると、サーバーの生の CPU サイクルの約 30% が直接消費される可能性があります。

現在、最も一般的なオーバーレイ ネットワーク管理方法は、vSwitch (OvS) プロトコルです。 FPGA ベースの SmartNIC (ネットワーク カード) は、ホスト CPU の計算負荷の約 30% を自身に転送できます。つまり、OvS プロトコル SmartNIC を搭載した 3 台のサーバーで、標準ネットワーク カードを搭載した 4 台のサーバーと同じコンピューティング能力を提供できます。

FPGA ベースの SmartNIC は、セキュリティおよび暗号化タスクを実行する際に、サーバー CPU の計算負荷を大幅に軽減することもできます。現在のセキュリティ ソリューションは通常、ディープ パケット インスペクションの形式をとっており、パケット内に脅威が見つかった場合、そのパケットは破棄されます。このアプローチにより、企業がサーバー上で実行する従来のファイアウォール ソフトウェアを強化したり、完全に置き換えたりすることができます。さらに、SmartNIC はさまざまな暗号化および復号化タスクを簡単に実行できます。

新しい世界、新しい秩序

リアルタイム サービスの新しい時代では、コスト、消費電力、純粋な CPU のスケーラビリティなどのさまざまな制約条件を考慮すると、ビジネス ニーズを満たすために CPU またはマルチコア CPU を単純に使用することはもはや現実的ではありません。ほとんどの複雑なワークロードでは、単にサーバーの CPU を増やすだけでは必要なパフォーマンスは得られません。

ムーアの法則が徐々に終焉を迎えるにつれ、次世代の CPU ではこれらの実際的な問題を解決できなくなる可能性があります。したがって、アダプティブ コンピューティング アクセラレータは実行可能なソリューションとなり、スケーラビリティを大幅に向上させて、企業が幅広いコンピューティング ニーズを満たしながら運用コストを管理できるようになることが期待されます。