エッジコンピューティングの探究: プロセッサ、アルゴリズム、メモリ

エッジコンピューティングとは

最近、エッジコンピューティングは、人工知能やモノのインターネットの分野で非常にホットなキーワードになっています。

人工知能とモノのインターネットに関する当初の考えは、クラウドに非常に強力なデータセンターがあり、モノのインターネットの各ノードがデータを収集してクラウドに送信する役割を担うというものでした。クラウドはデータに基づいて分析と決定を行い、結果を端末に送り返します。このモデルでは、クラウドがインテリジェント コンピューティングを担当し、ターミナル ノードがデータの収集と意思決定の実行を担当します。

しかし、このコンセプトは実際の実装において多くの困難に直面しました。最初の困難は、データ転送のオーバーヘッドから生じます。 IoT ノードは通常、ワイヤレス ネットワークを使用してクラウドにデータを送信します。ただし、IoT ノードがすべての生データを処理せずにクラウドに送信すると、帯域幅の需要が爆発的に増加し、ネットワーク インフラストラクチャがそのような高い帯域幅をサポートできなくなります。オーバーヘッドのもう1つの部分は、無線伝送の電力消費です。データを処理せずにクラウドに送信する場合、端末ノードの無線伝送モジュールは高速無線伝送をサポートする必要があり、これは無線モジュールが大量の電力消費を必要とすることを意味し、IoTノードの低消費電力コンセプトと矛盾します。 2 番目の難点は遅延です。自動運転やセキュリティなど、ノードによって実行されるタスクの多くは、遅延に非常に敏感です。これらのアプリケーションでは、ネットワーク伝送によって発生する遅延 (数十ミリ秒以上、ネットワーク信号が弱いと数秒の遅延や切断が発生することもあります) は許容されません。

これらの問題を考慮すると、エッジ コンピューティングが解決策になります。エッジ コンピューティングでは、端末ノードはコンピューティングとまったく無関係ではなく、一定量のコンピューティングとデータ処理を実行し、処理されたデータをクラウドに渡します。この方法では、計算がローカルで行われ、処理されたデータは元のデータから精製される必要があるため、遅延と帯域幅の問題を解決でき、データ量が大幅に小さくなります。もちろん、エッジでどれだけのコンピューティングが行われるかは、コンピューティング能力と無線送信電力消費の間の妥協点にも左右されます。端末が行うコンピューティングが多ければ多いほど、コンピューティング電力消費は大きくなり、無線送信電力消費は通常より小さくすることができます。システムごとに最適な値が異なります。

エッジ コンピューティング システムの場合、プロセッサ、アルゴリズム、メモリは、システム全体の中で最も重要な 3 つの要素です。これらの要素を詳しく分析してみましょう。

エッジコンピューティング向けプロセッサ: 汎用性はどの程度か?専用のアクセラレータを使用しますか?

従来の IoT 端末ノードのプロセッサは単純な MCU であり、主に制御目的で使用され、計算能力は比較的弱いです。端末ノードにエッジコンピューティング機能を追加する場合、2つの方法があります。1つ目は、新しい命令セットを使用してベクトルコンピューティングのサポートを増やしたり、複数のコアを使用してSIMDのようなアーキテクチャを作成したりするなど、MCUを強化することです。2つ目は、ヘテロジニアスコンピューティングの考え方を採用することです。MCUは依然として単純な制御目的を維持し、コンピューティング部分は専用のアクセラレータIPに引き継がれて完了します。実際、現在普及しているAIチップのほとんどは、このような専用の人工知能アルゴリズムアクセラレータIPで作られています。明らかに、前者のアイデアはより汎用性が高く、2 番目のアイデアはより計算効率に優れています。将来的には、この 2 つのアイデアが並行して共存することが予想されます。プラットフォームベースの製品では最初の一般的なアイデアが採用され、特定の大規模アプリケーション向けにカスタマイズされた製品では、専用のアクセラレータ IP のアイデアが採用されます。ただし、IoT端末向け専用アクセラレータIPの設計は、メモリ制限のため、他分野（携帯電話など）の専用アクセラレータとは設計が異なります（以下の分析を参照）。

アルゴリズムとメモリ

周知のとおり、最も主流のディープ ニューラル ネットワーク モデルのサイズは通常数 MB、場合によっては数百 MB にもなり、IoT ノードへの展開には課題が生じます。コストとサイズの観点から、IoT ノードの端に DRAM を追加することはできず、システム メモリとしては FLASH (オペレーティング システムなどの格納にも使用される) が一般的に使用されます。モデルの重み情報を格納するために FLASH を使用することを検討できますが、FLASH の書き込み速度は比較的遅いため、プロセッサ チップ上でキャッシュを行う必要があります。キャッシュ サイズは一般に数百 KB から 1 MB 程度であるため、モデルのサイズが制限されます。そのため、アルゴリズムはモデルを非常に小さくできる必要があります。そのため、最近「モデル圧縮」というトピックが非常に人気になっています。

アルゴリズムによってモデルを非常に小さくできない場合は、インメモリ コンピューティングを検討する必要があります。インメモリ コンピューティングは、従来のフォン ノイマン アーキテクチャとは異なるコンピューティング方法です。フォン ノイマン アーキテクチャでは、プロセッサの計算ユニットがメモリから分離されています。プロセッサは必要に応じてメモリからデータを読み取り、プロセッサがデータを処理した後、そのデータをメモリに書き戻します。そのため、フォン・ノイマン・アーキテクチャを使用する従来の専用アクセラレータのほとんどは、DRAM メモリと組み合わせて使用​​する必要があり、DRAM を追加できない IoT ノードにこのようなソリューションを展開することは困難です。インメモリ コンピューティングでは、データをプロセッサにフェッチせずにメモリ内で直接計算を実行するため、メモリ アクセスの余分なオーバーヘッドが削減されます。インメモリ コンピューティング アクセラレータの本体は大容量の SRAM またはフラッシュで、メモリにいくつかのコンピューティング回路が追加され、メモリ内で直接計算を実行できるようになります。理想的には、関連するアルゴリズムを DRAM なしで実行できます。

もちろん、インメモリ コンピューティングには独自の課題があります。プログラミング モデルを慎重に検討する必要があることに加え、現在のインメモリ コンピューティングの実装ソリューションは基本的にアナログ計算であるため、計算精度には限界があり、FP32 などの高精度は絶対に実現できません。これには、人工知能モデルとアルゴリズムが適切に調整され、低精度コンピューティング（つまり量子化コンピューティング）を適切にサポートして、低精度コンピューティングで精度が大幅に低下するのを防ぐことが必要です。計算中に 1 ビットの精度 0 または 1 のみを持ち、それでも妥当な分類精度を維持できるバイナリ ニューラル ネットワーク (BNN) はすでに数多く存在します。

一方、IoTノード端末のメモリ不足の問題を解決するには、モデル圧縮を使用する以外に、新しいメモリソリューションを使用して高密度のオンチップメモリ​​を実現したり、オフチップの不揮発性メモリの読み書き速度を高速化して読み書きの消費電力を削減したりする方法もあります。したがって、エッジコンピューティングは、MRAM、ReRAMなどの新しいメモリデバイスも生み出すでしょう。

要約する

エッジコンピューティングは、人工知能とモノのインターネットの組み合わせによって生まれたものであり、今後の重要なトレンドです。将来のエッジ コンピューティングの主要テクノロジには、新しいプロセッサ (強力な汎用プロセッサまたは専用アクセラレータ)、インメモリ コンピューティング、ネットワーク モデル圧縮、新しいメモリなどがあります。新しい技術が好きな友人は、これらの分野にもっと注目したいと思うかもしれません。多くの興味深い企業や技術が出現することが期待されます。