エッジAIとクラウドAIのバランスを見つける

エッジ AI により、ローカライズされた処理を通じてリアルタイムの機械学習が可能になり、即時のデータ処理、詳細なセキュリティ、強化された顧客エクスペリエンスが実現します。同時に、多くの企業は AI をクラウドに導入することを検討しており、これにより実装の障壁が低減し、知識の共有が改善され、より大規模なモデルをサポートできるようになります。前進するための道は、クラウドとエッジの両方の強みを活用するバランスを見つけることにあります。

[[361049]]

正確なモデルを開発するには大量のデータと計算が必要になるため、集中型のクラウド リソースはディープラーニング推論モデルのトレーニングによく使用されます。生成されたモデルは、中央のクラウドの場所に展開することも、エッジのデバイスに配布することもできます。

エッジ AI とクラウド AI は相互に補完し合い、クラウド リソースはほぼ常にエッジ AI のユースケースに関連しています。理想的な世界では、シンプルさと拡張性を実現するために、すべてのワークロードをクラウドに集中させますが、レイテンシ、帯域幅、自律性、セキュリティ、プライバシーなどの要素により、データに近いエッジに AI モデルをさらに展開することが必須となります。ソース：一部のトレーニングはエッジで行われており、地域的な偏りを排除するために結果を一元化しながらデータの領域の処理に重点を置くフェデレーテッド ラーニングの概念に注目が集まっています。

エッジAIの台頭

より優れたネットワーク インフラストラクチャと新しいエッジ コンピューティング アーキテクチャの台頭により、集中型クラウド AI と分散型エッジ AI ワークロード間の障壁が取り除かれつつあります。

良い面としては、世界中のあらゆる場所に分散された情報技術の層を追加することでクラウドを補完する、インフラストラクチャにおける大規模な変化が生まれつつあることです。私たちは、エッジ AI がクラウド テクノロジーの普及と同じくらい大きな革命を起こすと信じています。

適切に設計されていれば、Edge AI は、新しいユーザーごとにまったく新しいマシンを集合的なワークロードに導入するため、自動スケーリングの新たな機会を切り開きます。また、エッジでは、より多くの未処理の生の入力データへのアクセスが容易になりますが、クラウド AI ソリューションでは、パフォーマンスを向上させるために事前処理されたデータや、帯域幅が大きな問題となる可能性のある巨大なデータセットを処理する必要があります。

物事をエッジに移動する理由は、応答時間を短縮するためです。コンピューター ビジョンや 5G の仮想無線アクセス ネットワークなどのアプリケーションでは、速度と遅延が非常に重要です。もう 1 つの大きな利点は、クラウドにアップロードされるデータを制限することでプライバシーが向上することです。

エッジ AI の展開には、ネットワーク遅延、メモリ負荷、バッテリー消費、プロセスがユーザーまたはオペレーティング システムによってバックグラウンド化される可能性など、多くの制限もあります。エッジ AI に取り組む開発者は、特に携帯電話などの一般的なユースケースを検討する場合、さまざまな制限について計画を立てる必要があります。

補完的アプローチ

ほとんどの専門家は、エッジとクラウドのアプローチを、より大きな戦略の補完的な部分と見なしています。クラウド AI は、大規模なデータセットを処理してよりスマートなアルゴリズムを構築し、最大限の精度を迅速かつ大規模に実現するバッチ学習手法に適しています。エッジ AI はこれらのモデルを実行でき、クラウド サービスはこれらのモデルのパフォーマンスから学習し、それを基礎となるデータに適用して継続的な学習ループを作成できます。

適切なバランスをとる - エッジ AI に完全にコミットすると、モデルを継続的に改善する能力が失われます。新しいデータ ストリームがなければ、活用できるものは何もありません。ただし、クラウド AI に全面的にコミットすると、データをアップロード可能にするために必要なトレードオフと、ユーザーがより良いデータを取得できるようにするためのフィードバックが不足しているため、データの品質やデータ量が損なわれる可能性があります。

エッジ AI はクラウド AI を補完し、必要なときに即時の意思決定へのアクセスを提供し、クラウドを活用してより深い洞察を得たり、ソリューションを推進するためにより広範で長期的なデータ セットが必要な場合に活用したりします。

たとえば、コネクテッドカーでは、車に搭載されたセンサーがリアルタイムのデータ ストリームを提供し、それが継続的に処理されて、ブレーキの適用やハンドルの調整などの意思決定に使用されます。同じセンサー データをクラウドにストリーミングして長期的なパターン分析を行うと、緊急に必要な修理について所有者に警告し、将来の事故を防ぐことができます。一方、クラウド AI はエッジ AI を補完して、より深い洞察を促進し、モデルを調整し、洞察を継続的に強化します。

クラウド コンピューティングとエッジ AI が連携して、新しいエッジ データから継続的に得られるより深い洞察に基づいて、オンデマンドで即時の意思決定を行います。

トレーニングワークフロー

エッジ AI とクラウド AI を連携させる際の主な課題は、手順とアーキテクチャです。アプリケーションは、アプリケーション間のワークロードが意図的に分割され、調整されるように設計する必要があります。

たとえば、エッジ対応カメラは、無関係なデータでネットワークに過負荷をかけることなく、センサーから発信されるすべての情報を処理できます。ただし、エッジで最終的に対象オブジェクトが検出されると、関連するフレームをより大きなクラウド アプリケーションにブロードキャストして保存し、さらに分析 (フレーム内のオブジェクトのサブタイプとそのプロパティなど) し、分析結果を人間の監督者と共有することができます。

1 つの戦略は、モデルとデータのサイズとデータ転送のコストのバランスをとるアーキテクチャを作成することです。大規模なモデルの場合は、クラウドに留まる方が合理的です。問題を解決するためにモデルのサイズを縮小する方法はいくつかありますが、非常に大きなモデルを扱っている場合は、クラウドで実行することをお勧めします。

エッジで大量のデータが生成される場合、モデルをローカルで更新し、そのサブセットをクラウドにフィードバックしてさらに最適化する方が合理的である場合もあります。開発者は、機密データについて考えるときに、プライバシーの問題も考慮する必要があります。たとえば、開発者が携帯電話のカメラで脳卒中の証拠を検出したい場合、アプリは HIPAA に準拠するためにデータをローカルで処理する必要があるかもしれません。

このフレームワークは、トレーニングを行う場所や再利用性を高める方法についてより多くのオプションを提供するために進化し続けます。たとえば、TensorFlow.js は WebGL と WebAssembly を使用してブラウザーで実行しますが (プライバシー、低レイテンシ、デスクトップまたはモバイルの GPU リソースの活用などに適しています)、クラウドでトレーニングされたモデルのシャードされたキャッシュ バージョンを読み込むこともできます。モデル交換フォーマット (Open Neural Network Exchange など) を使用すると、さまざまな環境間でのモデルのモビリティも向上します。スレッテン氏は、アプリケーションをそれが実行される環境から抽象化しやすくするために、オープンソースのコンパイラ インフラストラクチャ プロジェクトである LLVM などのツールを検討することを提案しました。

適応する必要性

より多くの AI をクラウドからエッジに移行する上での重要な課題の 1 つは、エッジ AI チップで効率的に実行できるニューラル ネットワーク アーキテクチャを開発することです。スマートダッシュカムサプライヤー。

クラウド サーバーに見られるような汎用コンピューティング プラットフォームでは、あらゆるネットワーク アーキテクチャを実行できます。これはエッジ AI ではさらに困難になります。エッジの AI チップセットで実行できるように、アーキテクチャとトレーニング済みモデルを変更する必要があります。

これは大きな課題です。なぜなら、ユーザーは高性能のモバイル ネットワークからデッド ゾーンに移動しても、良好なパフォーマンスを期待する可能性があるからです。推論中は、すべてのデータをエッジからクラウドに移動するのに十分なネットワーク帯域幅がありませんが、ユースケースではローカル推論出力をグローバルに集約する必要があります。エッジ AI はニューラル ネットワークを実行して、さらなる AI 処理のためにクラウドに送信する必要があるデータをフィルター処理するのに役立ちます。

また、クラウド AI トレーニングの結果、ニューラル ネットワーク モデルのレイヤー数が多すぎて、エッジ デバイスで効果的に実行できなくなる場合もあります。このような場合、エッジ AI はより軽量なニューラル ネットワークを実行し、入力のより圧縮された中間表現を作成して、クラウドに送信し、さらに AI 処理を行うことができます。トレーニング中、エッジ AI とクラウド AI はハイブリッド モードで動作し、「仮想アクティブ ラーニング」に似た機能を提供できます。エッジ AI は大量のデータをふるいにかけてクラウド AI に「教える」ことができます。

エッジ AI チップセットでサポートされるニューラル ネットワーク アーキテクチャの種類は限られており、クラウドで可能なものより数か月遅れることがよくあります。これらの制限に対処する便利な方法は、Apache TVM などのコンパイラ ツールチェーンとスタックを使用することです。これにより、あるプラットフォームから別のプラットフォームへのモデルの移植が容易になります。

もう 1 つのアプローチは、エッジ AI で適切に機能することがわかっているネットワーク アーキテクチャを使用し、それをターゲット プラットフォーム用に直接トレーニングすることです。彼は、十分な量と種類のトレーニング データがあれば、このアプローチは絶対的なパフォーマンスの点でクロスプラットフォーム コンパイラ アプローチよりも優れていることが多いことを発見しました。ただし、トレーニング中や前処理、後処理でも多少の手作業が必要になります。

エッジAIとクラウドAIの一般的なトレードオフ

開発者がクラウド AI とエッジ AI の間で行う必要のある最も一般的なトレードオフには、次のものがあります。

• 処理能力: エッジ コンピューティング デバイスは、処理能力が低いことが多く、交換やアップグレードが困難です。
• レイテンシ: クラウド コンピューティングは高速ですが、自動車の運転や産業用制御などのリアルタイム アプリケーションにはまだ対応していません。
• エネルギー消費: ほとんどの設計者は通常、エッジの場合のようにクラウドのエネルギー消費の制約を考慮する必要はありません。
• 接続性: 自動運転車などの安全性が重要なサービスは、接続が切断されても動作を停止できないため、リアルタイムの AI 主導の意思決定の処理がエッジに押し上げられます。
• セキュリティ: 認証を実行し、機密情報 (指紋や医療記録など) を処理するために使用される AI サービスは、セキュリティ上の理由から、ローカルで実行するのが最適です。非常に強力なクラウド セキュリティが導入されている場合でも、エッジ処理によってユーザーが得るプライバシーの意識の向上は重要な考慮事項となる場合があります。