TinyML を理解する: エッジでの超低消費電力機械学習

導入

最も普及している IoT デバイスは小型で、電力が限られている傾向があります。これらは、組み込みセンサーを通じてさまざまなデータを収集するための端末ハードウェアとして使用されますが、計算能力には限界があり、電力消費に非常に敏感です。このようなデバイスは機械学習も可能にするのでしょうか? 1 つの傾向として、人工知能 (AI) が「クラウド」から「エッジ」へ、そしてますます小型の IoT デバイスへと移行を加速しています。端末やエッジ側のマイクロプロセッサ上に実装される機械学習プロセスをマイクロ機械学習、またはTinyMLと呼びます。

最も普及している IoT デバイスは小型で、電力が限られている傾向があります。これらは、組み込みセンサーを通じてさまざまなデータを収集するための端末ハードウェアとして使用されますが、計算能力には限界があり、電力消費に非常に敏感です。このようなデバイスは機械学習も可能にするのでしょうか?

1 つの傾向として、人工知能 (AI) が「クラウド」から「エッジ」へ、そしてますます小型の IoT デバイスへと移行を加速しています。

端末やエッジ側のマイクロプロセッサ上に実装される機械学習プロセスをマイクロ機械学習、またはTinyMLと呼びます。より正確に言えば、TinyML は、エンジニアが mW 電力範囲未満のデバイスに機械学習を実装するために使用する方法、ツール、およびテクニックを指します。

一群の企業が TinyML 関連のテクノロジーと製品を使用して、こうした普及している小型デバイスに機械学習をより適切に実装し、デバイスの分析機能と運用効率を向上させる方法を模索しています。

TinyML は、さまざまな技術分野と推進要因が交差する場所です。IoTデバイス、機械学習、エッジ コンピューティングの接点に位置し、複数の推進要因の複合的な影響により急速に進歩しています。

2月中旬、シリコンバレーでTinyML 2020 Summitが開催されました。 NVIDIA、ARM、Qualcomm、Google、Microsoft、Samsung などの企業が、マイクロ機械学習における最新の成果を実証しました。

これは TinyML サミットの第 2 回です。 TinyML 2019 サミットには、90 社を超える企業から数百人のエンジニアが参加しました。このサミットは前例のないもので、多くの重要な結論が導き出されました。

• 多くのアプリケーション シナリオにおいて、TinyML テクノロジとハードウェアは非常に実用的な段階にまで進化しています。
• 100KB 未満のアルゴリズム、ネットワーク、ML モデルでは大きな進歩がありました。
• 映像・音声分野では低消費電力化の要求が急速に高まっています。

TinyML Summitの主催者は、2019年7月に設立されたTinyML Foundationです。メンバーには大手有名企業だけでなく、GreeWaves、Eta Compute、Esperanto、Xnor、Picovoiceなどの優秀なスタートアップ企業も含まれています。

技術の進歩と環境の発展により、TinyML の開発は大きな勢いを増しました。現在、TinyML の影響力が高まり続けており、2020 年には多数の製品やソリューションが登場することが予想されます。注目に値する分野です。したがって、この記事では TinyML の包括的な概要を説明します。

• TinyMLとは何ですか?
• TinyML as a Service とは何ですか?
• TinyML が重要なのはなぜですか?
• TinyML市場規模予測
• TinyML の最新製品は何ですか?
• TinyML の実際的な用途は何ですか?
• TinyML関連団体

01TinyMLとは

機械学習（ML）は小さくなってきています。

記事の冒頭で述べたように、 TinyML はマイクロコントローラ上の機械学習のアプリケーションであり、超低電力のエッジサイド人工知能です。

いつでもどこでもデータを即座に利用できることの必要性が高まっています。こうした需要に後押しされ、世界中の産業界では「デジタル変革」が進んでいます。 IDC の分析によると、2025 年までに、世界で作成されるデータの 4 分の 1 以上がリアルタイムになり、IoT リアルタイム データがこのデータの 95% 以上を占めることになります。

データの急増により、機械学習、自然言語処理、人工知能などの新しいテクノロジーが多数登場し、データ分析は、珍しい遡及的な実践から、戦略的な意思決定と行動の積極的な推進力へと変化しています。これらのテクノロジーにより、さまざまな業界、環境、アプリケーションにわたるデータ分析の頻度、柔軟性、即時性が大幅に向上します。また、IDC の予測によると、2025 年までに、データ分析用の世界のデータの総量は 50 倍の 5.2ZB に増加し、機械学習によって「処理される」分析データの総量は 100 倍の 1.4ZB に増加するとされています。

既存の機械学習は、クラウド ML、エッジ ML、TinyML の 3 つの形式に分けられます。 TinyML は、95% 以上を占める IoT におけるリアルタイム データ処理シナリオ向けに設計されています。

したがって、コンピューティング プラットフォームの種類や、作成され使用されるデータの量によって、機械学習は明確に 3 つのタイプに分けられ、それぞれが異なる役割を果たします。

• Cloud ML:企業内またはクラウド内の特定のコンピューティング データ センターでの機械学習のアプリケーションを指します。これらのクラウド サーバーは、パブリック クラウド、プライベート クラウド、ハイブリッド クラウドなど、あらゆるタイプをカバーします。これには、電力網や電話網を管理するような運用制御センターも含まれます。
• Edge ML : コア データ センターにないエンタープライズ レベルのコンピューター/デバイスでの機械学習のアプリケーションを指します。エッジデバイスには、より迅速な応答を目的としてさまざまな地域に設置されたサーバールーム、オンサイトサーバー、小規模なデータセンターが含まれます。
• TinyML:モノのインターネットのさまざまな端末マイクロコントローラにおける超低電力機械学習の応用を指します。 TinyML は通常、ミリワット (mW) 以下の電力を消費するため、常にオンラインである必要があるさまざまなバッテリー駆動のデバイスやアプリケーションをサポートできます。これらのデバイスには、スマートカメラ、リモート監視デバイス、ウェアラブルデバイス、オーディオ取得ハードウェア、さまざまなセンサーなどが含まれます。

TinyML の現在の開発状況を見ると、アルゴリズム、ソフトウェア、ハードウェアの 3 つの側面から、TinyML は「十分に良い」段階、つまり実際に使用できる段階まで進化しています。

TinyML は、機械学習テクノロジーとアプリケーションの新興分野であり、急速に成長している分野であり、未開発の巨大なブルーオーシャンです。

数十億個のマイクロコントローラと多種多様なセンサーの組み合わせにより、将来的に非常に創造的で便利な TinyML アプリケーションが生まれる可能性があります。

TinyML の簡単な概要:

• 概要: TinyML は、超低消費電力 (ミリワット レベル) のエッジ マシン ラーニング アプリケーションを指します。
• 理由: TinyML は、多数の IoT デバイスのデータ分析と意思決定機能を向上させることができます。
• 方法: TinyML の実装には、ハードウェア、ソフトウェア、アルゴリズムの総合的な共同設計が必要です。
• 時期: 今が TinyML の導入を開始するのに最適な時期です。

TinyML には大きなチャンスがあり、その多くは現れ始めたばかりです。今後 1 ～ 2 年でこの分野で大きな進歩が起こる可能性が高いでしょう。

02TinyML-as-a-Serviceとは

次に、TinyML as a Service とは何かを見てみましょう。

これはエリクソンによって最初に提案された概念です。

まず、IoT エンドポイントに機械学習を適用する 2 つの方法を明確に区別する必要があります。

• IoT端末向け機械学習サービスの提供
• IoT端末デバイスにTinyML as a Serviceを組み込む

これら 2 つの表現は似ているように見えますが、実際には異なります。

最初のケースでは、IoT 端末デバイス向けに提供される機械学習サービスは、一般的にすべての ML タスクをエッジデバイスとクラウドサーバーに「アウトソース」します。端末デバイスは受信者として、エッジサーバーとクラウドサーバーから発行されたさまざまなタスクを「受動的に」実行します。

2 番目のケースでは、サービスとしての TinyML が IoT 端末デバイスに組み込まれ、インテリジェントな意思決定と実行に「積極的に」参加します。端末デバイスのリソースはクラウドやエッジに比べて非常に限られていますが、TinyML as a Service を使用すると、端末デバイスの分析機能を強化して、リアルタイムの IoT データをより適切に処理できるようになります。

したがって、TinyML はサービスとして、IoT 端末に機械学習を真に導入します。

これを見ると、機械学習のエコシステムは非常に大きく、多くのリソースを必要とするのではないかという疑問が湧くかもしれません。 IoT デバイスが非常に小さい場合、どのような機械学習タスクを実行できるのでしょうか?

この質問に適切に答えるために、まず、まったく異なる 2 つの世界にある TinyML と Cloud ML の違いについて説明しましょう。

上の図は、ハードウェアとソフトウェアの観点から、TinyML と Cloud ML の違いを定性的および定量的に比較したものです。 TinyML が利用できるリソースと比較すると、クラウド ML は単純に「豊富」です。成功するために、TinyML はクラウド ML とは異なる考え方を採用する必要があります。

この記事の冒頭にある 3 つのリングの図からわかるように、TinyML と Linux の間には共通点はあまりありません。多くの IoT デバイスには Linux を実行する機能がありません。TinyML は多くの成熟したツール、アプリケーション、およびコンテナベースの仮想化テクノロジを使用できません。ML サービスを展開するためのさまざまなソフトウェア、ハードウェア、およびアルゴリズムの不足という問題を解決するには、他の方法を見つける必要があります。

TinyMLに関しては、多くの企業が様々な取り組みを行っています。以下のセクションでは、さまざまなTinyML製品と最新の実践を紹介します。

もちろん、端末の IoT デバイスでクラウド ML と同じエクスペリエンスを得ることは非現実的です。 TinyML は主に推論、つまりトレーニングから学習した機能を実際の操作に適用することを実装します。

TinyML を実装するには、成熟したアーキテクチャの完全なセットが必要です。 Ericsson は、TinyML-as-a-Service エコシステムを 3 つの基本コンポーネントに分解します。

• コンパイラプラグインインターフェース
• オーケストレーションプロトコル
• 推論モジュールの仕様

これら 3 つのコンポーネントをサポートするということは、IoT ハードウェアが TinyML as a Service を実装するための基本要件を満たすことができることを意味します。次の図は、これら 3 つのコンポーネント間の相互作用をより詳細に示しています。緑はコンパイラ プラグイン インターフェイスを表し、黄色はオーケストレーション プロトコルと推論モジュールの仕様を表します。

TinyML をサービスとして実装する際の課題も非常に困難です。

• TinyML はエッジ ML のあらゆる困難に直面しているだけでなく、問題解決能力も制限されています。
• クラウド ML の成功体験から学び、端末への TinyML の導入をスムーズに推進する方法。
• 膨大な数の IoT デバイスに優れた TinyML エクスペリエンスを提供する方法。

TinyML が重要なのはなぜですか?

これを見ると、TinyML の重要性について独自の評価ができるはずです。

もう一度統一レビューをしましょう。

TinyML の登場は、データ プライバシー、ネットワーク帯域幅、時間遅延、信頼性、エネルギー効率など、エッジ ML とクラウド ML では克服できないさまざまな問題をより適切に軽減することを目的としています。

• データのプライバシー:多くのエンドユーザーはデータのプライバシーについて非常に懸念しており、データの公開と共有については慎重な姿勢を保っています。多くのユーザーは、データの保存と管理のためにサードパーティのクラウド プラットフォームやエッジ サービス プロバイダーにデータを委託することに消極的です。多くのユーザーは、重要な生産データや運用データを保存するために、明確な「ローカル」物理境界を定義することを好みます。 TinyML は、データのプライバシーを保護しながら、限られた機密データを IoT デバイス上で直接処理および分析します。

• ネットワーク帯域幅:多くの IoT デバイスは、狭帯域 IoT (NB-IoT) またはその他の低電力広域 IoT 通信プロトコルを介してネットワークと通信しますが、帯域幅とデータ伝送容量は非常に限られています。これらのデバイスでは、データ転送を削減し、ネットワーク帯域幅と転送電力消費への圧力を軽減し、端末とエッジデバイス間の帯域幅ボトルネックの形成を回避し、IoT ソリューション全体のパフォーマンスに影響を与えるために、データをローカルで処理することが強く求められています。

• 時間遅延: 5G などの技術の発展により、大規模な IoT デバイスが導入されるようになります。多くのアプリケーション シナリオは時間遅延に非常に敏感であり、データをリアルタイムで送信できることが期待されています。 TinyML は、特定の機械学習タスクをデバイス自体にオフロードすることで、ネットワーク遅延の可能性をさらに低減します。

• 信頼性:遠隔地、沖合プラットフォーム、宇宙ステーション、および過酷な環境でのアプリケーションでは、ネットワーク通信が常にカバレッジを保証できるとは限りません。したがって、機械学習機能はこれらの IoT デバイスに必要な機能です。 TinyML は、特定の機械学習機能をエッジやクラウドからローカル マシンに移植して、信頼性を向上させることができます。

• エネルギー効率:多くの IoT デバイスはバッテリー駆動であり、電力消費に対する要件が高くなります。極めて低消費電力のTinyMLデータ分析を使用してネットワーク経由で送信されるデータ量を削減することで、IoT端末の電力消費をある程度節約できます。

TinyML は、さまざまな問題を解決する可能性と、コスト、帯域幅、電力消費の制限を打破する可能性を秘めていることから、提案されて以来、幅広い注目を集め、大きな期待を集めてきました。

04 TinyML市場規模予測

ネットワークのエッジには多数の IoT デバイスが配置されており、これらのデバイスはますます小型化される傾向にあるため、TinyML の将来の発展には大きな想像の余地があります。

現在、世界中で 2,500 億個のマイクロコントローラーが稼働しており、2018 年だけで 281 億個が販売されました。IC Insights は、マイクロコントローラーの年間出荷数が 2023 年までに 382 億個に増加すると予測しています。さらに、これらのマイクロコントローラに対応するデバイスは、ますますインテリジェント化することが求められています。

つまり、将来的には煙感知器やペースメーカー、車載端末などに分散する2500億個のマイクロコントローラーが、これまではコンピューターやスマートフォンでしか処理できなかったタスクを実行できるようになるかもしれないのだ。

Silent Intelligence によると、TinyML は今後 5 年間で 700 億米ドル以上の経済価値を生み出し、27.3% を超える年間複合成長率 (CAGR) を維持すると予想されています。

TinyML の市場規模は、エッジ ML とクラウド ML の両方よりも大きいです。

しかし、このような巨大な市場を開拓するのは難しい。そのため、TinyML では異なる企業間のコラボレーションが行われており、企業間のビジネス モデルも根本的に異なります。 TinyML分野の人工知能SaaSサービスプロバイダーであるSensiMLを例にとると、そのビジネスモデルは以下の図のようになります。

2019年1月、6年前に設立されたSensiMLはQuickLogicに買収されました。クイックロジックの財務報告によると、クイックロジックは全額株式取引により、発行済み普通株式のすべてを総額 1,169,752 米ドルで取得した。

05 TinyMLの最新製品

上の写真はTopio Networksがまとめたエッジインテリジェンス業界マップです。

Edge ML は比較的成熟した分野であり、多くの企業がこの分野で熱心に取り組んでいます。多くの企業が TinyML の実験も始めています。

ARM、Qualcomm、Google、Bosch、Apple、Microsoftなどの企業は、TinyMLの実装を加速し、さまざまなセンサーにインストールしようとしています。

たとえば、Qualcomm は超低電力の常時オン コンピューター ビジョン ソリューションをリリースしました。

このソリューションは消費電力が非常に低く、常時オンで、標準リチウム電池から 1mA 未満のシステム電力を使用し、標準的なフレーム レートは 1 ～ 30 fps です。

対応する製品であるQualcomm® QCC112はすでに市販されています。

Bosch は、TinyML アプリケーションを実現する IoT 向け MEMS センサーを発売しました。

AppleがTinyMLスタートアップ企業Xnor.aiを2億ドルで買収。 Xnor.ai は、強力な処理能力やクラウドへの接続を必要とせず、デバイス上のローカル データを処理する、効率的で低電力の TinyML アプリケーションの開発に取り組んでいます。

ARM は最近、クラウド接続のないデバイスで機械学習を実行できる ARM Cortex-M55 と Ethos-U55 という 2 つのチップ設計を発表しました。

ARM は、これら 2 つの製品の発売により、端末インテリジェンスの新しい時代が到来すると考えています。

ARM が想定しているユースケースとしては、障害物を自動的に識別して所有者に報告できるスマート ウォーキング スティックの 360 度カメラや、問題をその場で識別して遅延を避けるために時間内に警報を鳴らすことができる高速列車のスマート センサーなどがあります。

新製品の発売により、ML 推論速度とエネルギー効率が大幅に向上します。

ただし、関連チップは早くても2021年初頭まで利用できないと予想されています。

大手企業に加えて、スタートアップ企業も TinyML 分野で非常に活発に活動しています。

GreenWaves は複数の RISC-V コアを使用して、超低電力で TinyML アプリケーションを実装します。第2世代製品であるGAP9には、10個のRISC-Vコアが搭載されています。そのうち 1 つはファブリック コントローラーとして機能し、他の 9 つはコンピューティング クラスターを形成します。これらのコントローラとコンピューティング クラスターは、独立した電圧および周波数領域で動作します。さらに最先端のFD-SOLプロセス技術をサポートすることで、消費電力がさらに削減されます。

Eta Compute の ECM3532 は低電力 IoT に適しており、Arm Cortext-M3 と DSP の 2 つのコアを備えています。わずか100マイクロワットの消費電力で、長時間待機状態での画像処理とセンサー集約を実現します。このチップには 512KB のフラッシュ メモリと 256KB の SRAM が搭載されています。Eta Compute が実演したケースには、音声、画像、ビデオ認識のほか、産業用センシング シナリオでのアプリケーションが含まれています。

06 TinyMLアプリケーションの実践

TinyML はまだ応用の初期段階にあり、いくつかの分野で実践されています。

車載アプリケーション： Swim.AI はリアルタイムデータ伝送プロセスで TinyML を使用し、リアルタイム交通データに対するセンサーのインテリジェント処理能力を効果的に向上させ、乗客の待ち時間や交通渋滞の可能性を減らし、自動車の排出量を改善し、運転の安全性を高めます。

スマート ファクトリー:製造業では、TinyML によりリアルタイムの意思決定が可能になり、機器の故障による計画外のダウンタイムを削減できます。機器の状態に基づいて、必要に応じて予防保守を実行するように作業者に通知できます。

QuickLogic の子会社 SensiML はこの分野で優れた取り組みを行っており、同社の製品をベースにスマート センシング ソリューションを迅速に構築できます。

SensiML はすでに、産業用予測保守の関連シナリオで TinyML を使用しています。

予知保全アプリケーションの開発者にとって、SensiML インテリジェント ソフトウェア ツールキットの利点は、データ サイエンスや組み込みファームウェアの専門知識を必要とせずに、数日または数週間でスマート IoT センサー デバイスを構築できることです。

このソフトウェアには、トレーニング データセットを収集および整理するための統合ツールである SensiML Data Capture Lab が含まれています。

予測保守の場合、データセットはさまざまなセンサーからの時系列データです。 SensiML 人工知能ソフトウェア ツールキットは、ラベル付けされたデータを分析して、異常検出を実行できる分類アルゴリズムを生成します。次に、同じツールを使用してアルゴリズムをコンパイルし、マイクロコントローラや QuickLogic 独自の QuickAI システムオンチップ プラットフォームなどの選択したハードウェア ターゲットで実行します。

スマート リテール: TinyML は、店内の棚を監視し、商品の数量が一定レベルを下回ったときにすぐにアラートを送信することで、小売店での在庫切れを防ぐことができます。

スマート農業:農家は動物の病気により深刻な損失を被る可能性があります。 TinyML を搭載した遠隔監視装置を使用して、家畜の心臓、血圧、体温、土壌温度、湿度をリアルタイムで監視することで、農家は植物や家畜の疫病の発生を予測し、予防することができます。

07 TinyML関連団体

あらゆる成功したテクノロジーは、コアチームと関連組織の推進と切り離せません。

TinyML分野で最も活発な組織は、エンジニアが自発的に構築したコミュニティであるTinyML Foundationです。2019年7月に設立され、小規模な交流会を頻繁に開催し、毎年TinyML Summitを開催しています。

ご興味がございましたら、次の Web サイトにアクセスして、TinyML Foundation とサミットの詳細をご覧ください。

https://tinymlsummit.org/

----最後に書きました----

小さな TinyML は、非常に大きくなります。この新しいものは徐々に形になりつつあります。完全なエコシステムを効果的に構築するには、ソフトウェア、ハードウェア、アルゴリズム、アプリケーションなど、複数の関係者の共同の取り組みが必要です。

私はこの分野の最新の動向を引き続き追っていきます。

まとめ：

1. TinyML は、マイクロコントローラ上の機械学習のアプリケーションであり、超低電力のエッジ人工知能です。 TinyML は通常、ミリワット (mW) 以下の電力を消費するため、常にオンラインである必要があるさまざまなバッテリー駆動のデバイスやアプリケーションをサポートできます。

2.端末の IoT デバイスでクラウド ML と同じエクスペリエンスを得ることは非現実的です。 TinyML は主に推論、つまりトレーニングから学習した機能を実際の操作に適用することを実装します。

3. TinyML は新興分野であり、急速に成長している機械学習テクノロジーとアプリケーションであり、未開発の巨大なブルーオーシャンです。