20以上のモバイルハードウェア、Int8超高速推論、エンドサイド推論エンジンPaddle Lite 2.0が正式にリリースされました

PaddlePaddleは今年8月、端末やエッジデバイス向けのエッジ推論エンジン「Paddle Lite」のベータ版をリリースした。

約 2 か月の反復と開発を経て、Paddle Lite 2.0 の正式バージョンが 2019 Wave Summit+ Deep Learning Developer Summit でリリースされました。

Paddle Lite Githubリンク:

https://github.com/PaddlePaddle/Paddle-Lite

Paddle Lite は、開発者があらゆるエンドサイド デバイスにアプリケーションを展開できるように、完全で使いやすく、高性能なエンドサイド推論エンジンを提供することに取り組んでいます。

初期のベータ版と比較して、正式版ではコンパイル、ドキュメント、パフォーマンス、ハードウェア サポート、プラットフォーム サポートなどが大幅に改善されています。

PaddlePaddle チームは、今年も引き続きいくつかのマイナー バージョン アップグレードを推進していくことも明らかにし、開発者がコミュニティに参加してフィードバックを提供してくれることを期待し、歓迎しています。

AI技術の実装において、推論段階は実際の応用に関係し、ユーザーエクスペリエンスに直接関係するため、非常に難しい部分です。

図1: 典型的なエッジAIアプリケーションの展開シナリオ

Paddle Lite は、エッジでの高性能で軽量な AI アプリケーションを展開するための Paddle 製品スタックの推論エンジンです。その主な目的は、さまざまなハードウェア プラットフォーム シナリオでトレーニング済みのモデルを迅速に展開し、入力データに基づいて予測推論を実行し、実際のビジネス アプリケーションをサポートするための計算結果を取得することです。

図2: パドルライトの機能的配置

ベータ版がリリースされて以来、Paddle Lite は以下のコア機能がアップグレードされました。

• マルチフレームワークのサポート: PaddlePaddle モデルをネイティブにサポートし、X2Paddle ツールを通じて TensorFlow、PyTorch、ONNX モデル形式のより包括的なサポートを提供します。
• 複数のハードウェア サポート: ARM CPU、モバイル GPU、Huawei NPU に加えて、Nvidia GPU と X86 CPU もサポートされるようになりました。
• パフォーマンスの向上:ベンチマークを更新し、ARM CPU、特に int8 でのパフォーマンスを向上しました。
• より完全な機能: Python API をサポートし、コンパイル プロセスを最適化し、予測ライブラリの極端なプルーニングなどの機能を追加します。
• より完全なドキュメントとデモ: Android、iOS、Raspberry Pi を含む完全なドキュメントとマルチプラットフォームのデモを提供します。

マルチフレームワークのサポート

Paddle Lite は PaddlePaddle 形式のモデルだけでなく、Caffe、TensorFlow、ONNX などのサードパーティ形式のモデルもサポートしています。詳細については、X2Paddle を参照してください。

当局は、以下の主流モデルの適応性を検証しました。

上記の主流モデルに加えて、ARM CPU FP32 には次の 3 つの新しいモデルが追加されています。

• トランス
• フェイスボックス
• ブレイズフェイス

ARM CPU INT8 量子化予測は、次のモデルをサポートしています。

• シャッフルネット2
• モバイルネット SSD
• 翻訳
• グーグルネット
• モバイルnetv1
• モバイルネットV2
• レスネット50

複数のハードウェアのサポート

バージョン v2.0 では、Paddle Lite に 2 つの新しいタイプのハードウェア (Nvidia GPU と X86 CPU) のサポートが追加されました。

Nvidia GPUに関しては、GPUの高性能を最大限に活用するために、Paddle LiteはCUDA関連のソフトウェアスタックを使用して対応するカーネルを開発し、サーバー側ではP4とT4、組み込み側ではJetson TX2、TX1、Nanoなど、複数の種類のNvidia GPUハードウェアをサポートしました。

現在、CUDA GPU は次の 3 つのモデルをサポートしています。

• ヨロフ3
• アレックスネット
• ユネット

X86 CPU の場合、Paddle Lite は MKL 関連のカーネルを追加します。現在、inception v4、googlenet、resnet50 の 3 つのモデルを効率的に実行できます。対応する演算子は、他のほとんどの CV モデルに共通です。

パフォーマンスの向上

ARM CPU (v7、v8) での float32 および int8 計算モードの予測パフォーマンスが向上しました (図 3、図 4 を参照)。詳細については、次のリンクにある最新のベンチマークを参照してください。

https://paddlepaddle.github.io/Paddle-Lite/v2.0.0/ベンチマーク/

図3

図4

テスト条件: バッチサイズ=1、シングルスレッド

より完全な機能

①Python APIをサポート

Paddle Liteは、ARM Linux関連ハードウェアへの予測展開を簡素化するために、Python APIの予測インターフェースを追加し、現在、Raspberry PiやJetson TX2などのカード上でのアプリケーション検証を行っています。

②コンパイルプロセスの最適化

Paddle Lite は 2 つのコンパイル モードをサポートしています。

• tiny_publish: MobileConfig 予測インターフェースに対応し、展開ボリュームに関する厳しい要件を持つプラットフォームに使用されます。
• full_publish: 展開ボリュームの要件がなく、使いやすく、CxxConfig 予測インターフェースに対応するプラットフォームに使用されます。

コンパイル面では、Dockerに加えて、Linux（Ubuntu推奨）やMacなどのコンパイルプラットフォームのサポートが追加され、コンパイル（full_publish）中のgitサブモジュールのダウンロードが遅い問題が修正されました。

統合コンパイル スクリプトでは、現在以下がサポートされています。

• Android ARM CPU、GPU
• iOS
• 86 の
• NV GPU/CUDA
• ファーウェイNPU
• ARM Linux

などのハードウェア プラットフォーム用の予測ライブラリをコンパイルします。

③ 予測ライブラリの極端な剪定

Paddle Lite は既存のモバイル予測ライブラリをさらに圧縮し、ARM V8 を 1.4M から 1.3M に削減します。さらに、単一のモデルに基づいてカスタマイズされたプルーニング、つまりモデルの必要な演算子のみを含む予測ライブラリを生成する機能もリリースします。その効果は次の図に示されています。

より完全なドキュメントとデモ

主に以下の点を含めてドキュメントの内容を改善します。

• サポートされているハードウェアのリストを追加しました。以下を参照してください。

https://paddlepaddle.github.io/Paddle-Lite/v2.0.0/support_hardware/

• モデルに従って演算子をクリップするメソッドを追加しました。参照:

https://paddlepaddle.github.io/Paddle-Lite/v2.0.0/library_tailoring/

• 最新のベンチマークを更新します。参照:

https://paddlepaddle.github.io/Paddle-Lite/v2.0.0/ベンチマーク/

Paddle Lite の展開機能を実際に実証するために、Paddle Lite は Paddle-Lite-Demo を追加しました。

https://github.com/PaddlePaddle/Paddle-Lite-Demo

GitHub 公式 DEMO ライブラリには、現在次のものが含まれています。

• Android ARM CPU
• Android Huawei NPU
• iOS ARM CPU
• ARM Linux ラズベリーパイ

分類、検出、その他のモデルの機能デモンストレーションを含むその他のプラットフォーム。

ARM Linux Raspberry Pi を例にとると、Paddle Lite は Raspberry Pi 3B を駆動して認識タスクのためにカメラを呼び出します。全体的な効果は図 6 に示されています。

図6

詳細については、Raspberry Pi 3B を例に、Raspberry Pi カメラの購入、インストール、設定、検証を参照してください。

https://github.com/PaddlePaddle/Paddle-Lite-Demo/blob/master/PaddleLite-armlinux-demo/enable-camera-on-raspberry-pi.md

Paddle Lite について詳しく知りたい場合は、以下のリンクを参照してください。

参考リンク:

• Paddle Lite Githubリンク:
• https://github.com/PaddlePaddle/Paddle-Lite
• Paddle Lite ドキュメント リンク:
• https://paddlepaddle.github.io/Paddle-Lite/
• Paddle Lite デモリンク:
• https://github.com/PaddlePaddle/Paddle-Lite-Demo
• PaddlePaddle の Github リンク:
• https://github.com/paddlepaddle
• 使用中に問題が発生した場合は、Paddle Lite 公式 QQ グループ (グループ番号 696965088) を通じて開発者とコミュニケーションを取り、フィードバックを提供することができます。