チップレベルのエッジAIが次世代のIoTを推進

エッジ コンピューティングは、IT アーキテクトや組み込み開発者にさまざまな選択肢を提示する難しい問題です。最終的には、より迅速で豊富な意思決定を可能にするエッジ AI が実現される可能性があります。

[[383445]]

重要な IoT センサー データの処理が、データが元々存在する場所に近づくにつれて、AI ベースの機械学習技術はすでにクラウドベースのデータ センターを超えて進化しつつあります。

この動きは、新たな人工知能（AI）を搭載したチップによって可能になる。これらの製品には、Amazon Web Services、Microsoft、Google のクラウド データ センターでデータ サイエンティストの問題を解決するために最初に使用された GPU (グラフィックス プロセッシング ユニット)、FPGA (フィールド プログラマブル ゲート アレイ)、およびその他の特殊な IC タイプよりもメモリと電力要件が小さい組み込みマイクロコントローラが含まれます。

機械学習と関連するニューラル ネットワークが爆発的に増加したのは、これらのクラウド サービスにおいてです。しかし、モノのインターネットの台頭により、エッジベースの機械学習も必要となるデータショックが発生しました。

現在、クラウド プロバイダー、モノのインターネット (IoT) プラットフォーム メーカー、その他の企業は、データを分析のためにクラウドに渡す前にエッジでデータを処理するメリットを認識しています。

エッジで AI による決定を行うと、レイテンシが短縮され、センサー データへのリアルタイム応答がより実現可能かつ適用可能になります。それでも、「エッジ AI」と呼ばれるものにはさまざまな形態があります。そして、次世代の IoT でそれをどのようにサポートするかは、高品質で実用的なデータを提示する上での課題となります。

エッジコンピューティングのワークロードの増加

エッジベースの機械学習は、IoT 市場の AI の大幅な成長を促進する可能性が高く、Mordor Intelligence は、2026 年までにこの市場が 27.3% の CAGR で成長すると予測しています。

これは、Eclipse Foundation IoT グループの 2020 年の調査によって裏付けられており、IoT 開発者の間で最もよく引用されるエッジ コンピューティング ワークロードの 30% を AI が占めることが判明しました。

多くのアプリケーションでは、クラウド上で並列機械学習を可能にするために、無数のサーバーラックを複製することは現実的ではありません。ローカル処理のメリットを享受できる IoT エッジ ケースは数多くあり、さまざまな運用監視ユース ケースで強調されています。たとえば、プロセッサは、石油掘削装置の圧力計の変化、遠方の電力線で検出された異常、または工場で撮影されたビデオ映像によってトリガーされるイベントを監視できます。

最後のケースは最も広く使用されているケースです。エッジで画像データを分析するための AI の応用は、大きな可能性を秘めていることが証明されています。ただし、IoT デバイスによって収集されたデータを使用したイベント処理には、多くの複雑な処理要件があります。

エッジコンピューティングの価値

Hyperion Research のシニア コンサルタントである Steve Conway 氏は、クラウドベースの IoT 分析は今後も定着するだろうと述べています。ただし、データが移動する距離によって処理の遅延が発生します。クラウドとの間でデータを移動すると、当然遅延が発生し、往復に時間がかかります。

「光の速度というものがあるんだよ」とコンウェイ氏は冗談を言った。 「そして、これを超えることはできません。」その結果、エッジで処理の階層化が進んでいます。

この階層には、デバイスおよびボードレベルの実装に加えて、製造およびデータセンターの IoT ゲートウェイが含まれており、次世代 IoT システムの開発に利用できるアーキテクチャ オプションが拡張されます。

SAS の IoT およびエッジ部門の製品マーケティング担当シニアマネージャーである Saurabh Mishra 氏は、長期的にはエッジ AI アーキテクチャはデータ処理の焦点における新たな世代シフトだが、それが鍵だと述べています。

「ここには進歩があり、データを一元化するという考え方があります。これは、データセンターなどの環境でデータがすでに作成されている特定の業界や特定のユースケースで実行できます」と彼は語った。

ミシュラ氏は、SAS が検証済みのエッジ IoT リファレンス アーキテクチャを作成したと述べ、顧客はこれに基づいて AI および分析アプリケーションを構築できるが、分析のためにクラウドに効率的かつコスト効率よく移行するのは事実上不可能だと語った。クラウド AI とエッジ AI のバランスをとることが基本的な要件になります。

Eclipse Foundation の IoT およびエッジ コンピューティングのプログラム マネージャーである Frédéric Desbiens 氏は、そのバランスを見つけるには、機械学習モデルを実行するために必要なデータの量を考慮することから始まると述べています。ここで、新しいインテリジェント プロセッサが活躍します。

「エッジの AI アクセラレータは、データを他の場所に送信する前にローカルで処理できます。ただし、これには必要なソフトウェア スタックやストレージなどの機能要件を考慮する必要があります」と Desbiens 氏は述べています。

[[383446]]

AIエッジチップは豊富

クラウドベースの機械学習の台頭は、通常 NVIDIA 半導体の形で提供される高メモリ帯域幅 GPU の台頭の影響を受けています。この成功は他のチップメーカーの注目を集めた。

社内 AI 専用プロセッサに続いて、ハイパースケール クラウド プレーヤーの Google、AWS、Microsoft が追随しています。

AIチップ戦争では、AMD、インテル、クアルコム、ARMテクノロジー（昨年NVIDIAが買収）などの大手企業が熾烈な戦いを繰り広げている。

代わりに、Maxim Integrated、NXP Semiconductors、Silicon Labs、STM Microelectronics などの主流の組み込みマイクロプロセッサやシステムオンチップ企業は、エッジに AI 機能を追加する取り組みを始めています。

今日、モノのインターネットとエッジ処理のニーズは、EdgeQ、Graphcore、Hailo、Mythic などの AI チップ スタートアップ企業の注目を集めています。現在、エッジ処理には制限があります。 Hyperion 社の Steve Conway 氏は、障害としては利用可能なメモリ、電力消費、コストなどがあると強調した。

「組み込みプロセッサは、消費電力が非常に重要であるため、非常に重要です」とコンウェイ氏は言う。「GPU と CPU は小さな紙切れではなく、特に GPU は大量の電力を消費します。」

ソフトウェアとハ​​ードウェアの調整

Maxim Integrated のマイクロコントローラおよびソフトウェア アルゴリズム事業のエグゼクティブ ディレクターである Kris Ardis 氏は、データの移動がエッジでのエネルギー消費の要因であると示唆しました。同社は最近、低電力コントローラとニューラルネットワークプロセッサを組み合わせてバッテリー駆動の IoT デバイスで動作するデバイス、MAX78000 をリリースしました。

「エッジでコンピューティングを実行できれば、帯域幅と通信電力を節約できます。課題は、ニューラル ネットワークを採用し、それを対応するアクセサリに適合させることです」とアーディス氏は述べました。

同氏は、このチップをベースにした単一の IoT デバイスが IoT ゲートウェイに電力を供給し、デバイスからのデータを集約し、クラウドに流れるデータをさらにフィルタリングして全体的な操作を分析する上で重要な役割を果たす可能性があると指摘した。

他の半導体装置メーカーも、コンピューティングをデータが存在する場所に近づけるというトレンドに適応しつつあります。これらは、ハードウェアの選択肢が増え続ける中でも、開発者の能力を拡張する取り組みの一環です。

インテルのモノのインターネット部門の副社長ビル・ピアソン氏は、「CPUがすべての答えだった」時代があったことを認めた。エッジ AI などのトレンドが、現在ではこれに影を落としつつあります。

彼は、さまざまな用途をサポートするさまざまなチップタイプを指すために「XPU」という用語を使用しました。しかし、彼は、そのような多様性は単一のソフトウェア アプリケーション プログラミング インターフェイス (API) を通じてサポートされるべきだとも付け加えた。

ソフトウェア開発者を支援するために、Intel は最近、エッジ システムでの推論用 OpenVINO ツールキットのバージョン 2021.2 をリリースしました。 CPU、GPU、Movidius ビジョン プロセッシング ユニットなどの Intel コンポーネントに共通の開発環境を提供します。ピアソン氏によると、インテルはさまざまなインテルハードウェア上でのニューラルネットワーク推論のパフォーマンスを予測するためのDevCloud for Edgeソフトウェアも提供しているという。

「業界は、AIの専門家ではない人々が仕事をしやすいようにする必要がある」と、NVIDIAのエンタープライズおよびエッジコンピューティング担当副社長兼ゼネラルマネージャー、ジャスティン・ボイタノ氏は語った。

これは、低電力 ARM プロセッサを搭載した NVIDIA Jetson の形をとる可能性があります。 1960 年代の SF 漫画シリーズにちなんで名付けられた Jetson は、モバイル組み込みシステムに GPU アクセラレーションによる並列処理をもたらすように設計されています。

最近、NVIDIA はビジョン システムの開発を簡素化するために、Vision Programming Interface (VPI) の最初の製品バージョンを含む Jetson JetPack 4.5 をリリースしました。

ボイタノ氏は、時間が経つにつれて、エッジでの AI 開発の雑用は、機械学習を深く理解している AI 研究者ではなく、IT 部門によって処理されるようになるだろうと述べた。

Tiny MLの台頭

端末やエッジ上のマイクロプロセッサ上に実装される機械学習プロセスをtinyML（tiny Machine Learning）と呼びます。

広大なクラウドから制約のあるエッジデバイスに機械学習手法を移行するために必要なスキルは、簡単に習得できるものではありません。しかし、開発者の作業負荷を軽減しながらコンパクトなエッジ AI を実現するために、新しいソフトウェア テクノロジが適用されています。

実際、業界ではすでに「Tiny ML」アプローチの台頭が見られます。これらの機能は、消費電力を抑え、限られたメモリを使用して作業を完了しながら、1 秒あたりの推論機能を実現します。

エッジ処理の要件を軽減するために、Apache MXNet、Edge Impulse の EON、Facebook の Glow、Foghorn Lightning Edge ML、Google TensorFlow Lite、Microsoft ELL、OctoML の Octomizer など、さまざまな機械学習ツールが登場しています。

ここでの主な目標は、ニューラル ネットワーク処理のサイズを縮小することであり、そのためにはさまざまな手法があります。これらには量子化、2値化、整流化が含まれると、さまざまなエッジおよびオンプレミス実装をサポートするソフトウェア プラットフォームのメーカーである Foghorn の CTO、サストリー マラディ氏は述べています。

ニューラル ネットワーク処理の量子化では、低ビット幅の計算の使用に重点が置かれます。次に、計算の複雑さを軽減するために、2 値化が使用されます。また、この補正は、処理する必要があるニューラル ノードの数を減らすために使用されます。

Malladi 氏は、特にさまざまなハードウェアを扱う開発者にとって、これが困難な作業であることを認めています。フォグホーンの Lightning プラットフォームの背後にある取り組みは、エッジでの機械学習の複雑さを抽象化することを目的としている、と彼は述べた。

たとえば、目標は、直感性が低く、より多くのコーディング知識を必要とするアプリケーション プログラミング インターフェイスやソフトウェア開発キットではなく、ライン オペレーターや信頼性エンジニアがドラッグ アンド ドロップ インターフェイスを使用できるようにすることです。

組み込み機械学習開発の簡素化 プラットフォームメーカーの Edge Impulse は、複数の種類の Edge AI ハードウェアで実行されるソフトウェアの開発を容易にすることにも注力しています。

結局のところ、機械学習の成熟とはモデルの小型化を意味すると、Edge Impulse の CEO、ザック・シェルビー氏は語った。

「研究の方向性は、ますます複雑性が増す、より大規模なモデルへと向かっています」とシェルビー氏は語った。 「しかし、機械学習が全盛期を迎えると、人々は再び効率性に注目し始めました。」こうしてTiny MLが導入されました。

新しい種類のハードウェアへの道をサポートしながら、既存の IoT インフラストラクチャ上で実行できるソフトウェアが必要だと彼は述べた。シェルビー氏は続けて、Edge Impulse ツールにより、利用可能なハードウェア上でアルゴリズムとイベントをクラウドベースでモデリングできるため、ユーザーは選択を行う前にさまざまなオプションを試すことができると述べました。

未来に焦点を当てる

エッジでは、コンピューター ビジョンは AI の重要な使用例となっており、特に、多層ニューラル ネットワークと教師なし手法を使用して画像パターン認識の結果を達成するディープラーニングの形で使用されています。

Forrester Research の主席アナリストである Kjell Carlsson 氏によると、エッジのカメラが組み込みハードウェアを通じてディープラーニングの処理能力を高めるにつれて、今日のビジョン システム アーキテクチャは変化しつつあります。しかし、最適なアプリケーションターゲットを見つけるのは難しい場合があります。

「AIの問題点は、結局は『新しい』ユースケースに重点が置かれることになることだ」と彼は語った。

カールソン氏は、こうしたグリーンフィールドソリューションの開発には固有のリスクがあるため、パターン認識の精度が成熟した既存のシステムに比べて遅れているとしても、費用対効果の高いユースケースに焦点を当てることが有益な戦略だと述べた。

カールソン氏は、全体として、エッジ AI は、実装者がさまざまな潜在的な使用事例を整理する中で遅れをとることもあった IoT の当初の約束の実現に役立つ可能性があると述べました。

「モノのインターネット自体には限界がある。しかし今では、AI、機械学習、ディープラーニングによって、モノのインターネットはより応用しやすくなり、大きな価値を持つようになった」と同氏は語った。