Alibaba が MNNKit をオープンソース化: Android と iOS をサポートする MNN ベースのモバイルディープラーニング SDK

最近、モバイル端末向けのディープラーニングフレームワークの開発がますます増えてきています。最近、アリババはMNN推論エンジンをベースにした最新のMNNKitディープラーニングSDKもオープンソース化しており、AndroidおよびiOS開発者が簡単に呼び出すことができます。

近年、多くの企業がモバイルデバイス向けのディープラーニングフレームワークを開発しています。中国では、XiaomiのMace、TencentのFeatherCNN（Tencent AI）やncnn（Tencent Youtu）、BaiduのPaddle-moblieなどがあります。 Alibaba は独自のモバイルディープラーニングフレームワーク MNN も開発しました。

最近、アリババはMNNエンジンをベースにしたMNNKitプロジェクトをオープンソース化し、AndroidおよびiOS向けのSDKの形でAIエンドサイド推論機能を提供しています。開発者はアルゴリズムの詳細を理解しなくても直接使用できます。

プロジェクトアドレス: https://github.com/alibaba/MNNKit

現在、MNNKit には顔検出、ジェスチャー認識、ポートレートセグメンテーションなどがすでに備わっており、将来的にはさらに多くの API が追加される可能性があります。

MNNKit: MNN に基づくディープラーニングツール

MNN は、Alibaba の MNN オンデバイス推論エンジンに基づいて開発されたアプリケーションソリューションであり、主に Android および iOS システムを対象として、実際のモバイルシナリオに AI 機能を適用するのに役立ちます。

MNNKit アーキテクチャ

MNNKit は開発者が使用できる SDK を提供します。以下は SDK のアーキテクチャです。

図からわかるように、MNNKit は下から上に向かって 3 つの層に分けられます。

MNNエンジン層は、Android/iOS上のMNN(https://github.com/alibaba/MNN)ライブラリでコンパイルされたパッケージのバイナリリリース版であり、端末側の動作環境を提供します。
コア基本レイヤー。主に、MNN c++ インターフェース呼び出しと基本的に同じ粒度で上位レベル API を抽象化およびカプセル化します。iOS は OC インターフェースを通じて提供し、Android は Java インターフェースを通じて提供します (TODO)。このレイヤーは、上位レイヤー SDK 用のいくつかのパブリックサービスクラスまたは構造定義も提供します。
ビジネスキットレイヤーには、顔検出とジェスチャ認識のカプセル化のための API が含まれています。プロジェクト紹介によると、ビジネスキット層は今後も拡大していくとのこと。

内部原則

MNNKit は主に Alibaba のエンドサイド AI 機能を提供するため、関連アプリケーションの多くの API をカプセル化します。呼び出し内容は次のとおりです。

たとえば、ユーザーが API を呼び出す必要がある場合、まずインスタンスを作成し、次に画像、ビデオ、またはその他の構造化データを入力して AI モデルで推論を実行する必要があります。作業が完了したら、インスタンスを解放します。

現在、MNNKit は次の API をサポートしています。

顔検出API
ジェスチャー認識API
ポートレートセグメンテーションAPI

顔検出を例にとると、検出内容は主に次の 3 つのセクションに分かれます。

顔の基本情報
顔の位置の直角座標
106 個のキーポイント座標 (遮蔽されているものと遮蔽されていないものを区別)
自信

[[313534]]

106 個のキーポイントの配布 (公式オープンソース github より)

顔の各部位のツボ分布対応表

オイラー角

3つの角度値: ヨー、ピッチ、ロール

フェイスアクション（5つのフェイスアクションを含む）
瞬き
口を開けて
首を振る
うなずく
眉を上げる

プロセス

顔検出のために検出する必要があるデータがわかったので、処理プロセスを見てみましょう。

図に示すように、このプロセスは、iOS および Android デバイスの背面カメラが前方に撮影した後のモバイル端末上の全体的な処理です。

まず、システムはカメラからデータを SDK への入力として取得します。次に、SDK は次のことを実行します。

MNN エンジンが推論を実行する前に、元の入力が前処理され、入力データ内の顔が正であることを確認します。
推論に AI モデルを使用します。
推論後、入力画像（前処理後）の座標系に基づいたキーポイント結果が生成されます。
レンダリングを容易にするために、キーポイントの座標を画面レンダリング座標系と同じ方向に変換します。

プロセスアプリケーションでは、最終結果のキーポイントがユーザーの画面に表示され、フロントエンドはレンダリングに「キャンバス」を使用します。キャンバスの座標系はレンダリング座標系と呼ばれます。

SDK 検出の最後のステップでは、キーポイントをレンダリング座標系と同じ方向に変換し、キーポイントの座標をレンダリング座標系の座標に比例してマッピングします。マッピング後、キャンバスに直接レンダリングできます

コードサンプル

MNNKit は顔検出、ジェスチャー認識などのサンプルコードを提供します。次に、顔検出を例に、Android または iOS で API を呼び出して推論を実行する方法を確認します。

Androidコード

前述のように、API を呼び出すには、まずインスタンスを作成する必要があります。以下は、非同期的に FaceDetector インスタンスを作成し、メインスレッドでコールバックするコードです。

パブリック静的void createInstanceAsync (コンテキスト コンテキスト、 FaceDetectorCreateConfig createConfig、 InstanceCreatedListener<FaceDetector> リスナー)

ここで、顔検出 API は検出と追跡という 2 つのアクションを実行します。検出は顔の位置とキーポイントを取得するプロセスであり、追跡は顔の動きに合わせてキーポイントを再配置するプロセスです。

ビデオモードでは、システムはデフォルトで 20 フレームごとに 1 回検出し、残りのフレームのみを追跡します。画像モードでは、各通話が検出されます。

インスタンスを作成したら、推論のためにモデルにデータを入力できます。 MNNKit は入力として複数のデータ形式をサポートするようになりました。ビデオストリーム検出シナリオでは、カメラのコールバックデータをインターフェイスの入力として使用できます。データを入力するためのコードは次のとおりです。

パブリック同期FaceDetectionReport[] 推論( byte [] data、 int width、 int height、 MNNCVImageFormat format、 long detectConfig、 inAngle 、 int outAngle、 MNNFlipType outputFlip)

ビットマップを入力データとして使用する推論コードは次のとおりです。

パブリック同期FaceDetectionReport[] 推論(Bitmap bitmap、 long detectConfig、 int inAngle、 int outAngle、MNNFlipType outputFlip)

FaceDetector インスタンスが使い果たされた場合は、インスタンスを手動で解放する必要があります。そうしないと、ネイティブメモリリークが発生します。

パブリック同期void解放()

iOSコード

Android コードと同様に、まず顔検出インスタンスを作成する必要があります。

+ ( void ) createInstanceAsync: (MNNFaceDetectorCreateConfig*)configコールバック: ( void (^)(NSError *error, MNNFaceDetector *faceDetector))blockコールバックキュー: (dispatch_queue_t)callbackQueue;

デフォルトのメインスレッドコールバック:

+ ( void ) createInstanceAsync: (MNNFaceDetectorCreateConfig*)configコールバック: ( void (^)(NSError *error, MNNFaceDetector *faceDetector))block;

PixelBuffer 入力を使用した推論のコードは次のとおりです。

- (NSArray<MNNFaceDetectionReport *> *)推論: (CVPixelBufferRef)pixelBuffer構成: (MNNFaceDetectConfig)detectConfig角度: ( float )inAngle出力角度: ( float )outAngleフリップタイプ: (MNNFlipType)flipTypeエラー: (NSError *__autoreleasing *)error;

UIImage 入力を使用した推論のコードは次のとおりです。

- (NSArray<MNNFaceDetectionReport *> *) inferenceImage: (UIImage*)image Config: (MNNFaceDetectConfig)detectConfig Angle: ( float )inAngle OutAngle: ( float )outAngle FlipType: (MNNFlipType)flipType error: (NSError *__autoreleasing *)error;

一般的なバッファ配列入力を使用するコードは次のとおりです。

- ( NSArray < MNNFaceDetectionReport *> *)inference:(unsigned char*) data幅:( float )w高さ:( float )h形式:( MNNCVImageFormat )format構成: (MNNFaceDetectConfig )detectConfig角度:( float )inAngle出力角度:( float )outAngle 反転タイプ:( MNNFlipType )flipType エラー:( NSError * __autoreleasing *)error;