毎日 12 時に出勤し、ガールフレンドと過ごすために定時に退勤するプログラマーである私が、なぜいつも残業するのでしょうか。！

社内で髪の多いプログラマートップ3の1人として、私はいつも髪に頼って残業しています。若い人たち、なぜ残業しないの？と自分に問いかけています。私はガールフレンドはいませんが

しかし、私はコードを持っています。

[[283573]]

でも、私が理解できないのは、隣の職場で働いている男性が私より遅く出勤し、私より早く退勤することです。彼は毎日彼女を迎えに定時に退勤し、いい仕事をしているようです。もちろん、彼の髪もかなりきれいです。私より年上に見えること以外に、彼には何か勝つための秘訣があるのだろうか？昼休みに、1週間分のコーヒーを費やして、私は彼の勝つための秘訣を学んだ。

その秘密がわかれば、仕事でも恋愛でも成功できるかもしれない。

NCNNを直接統合することのデメリット

NCNNを直接統合して、老若男女を美しく見せます。統合中に涙を流したのを覚えています。同時に、ガールフレンドのSK2を使って顔をメイクしたいと思いました（~~いいえ、持っていません、SK2もガールフレンドも~~）。何が起こっているのですか？NCNNをSqueezeNetに接続し、関連するモデルファイル、NCNNヘッダーファイルとライブラリ、JNI呼び出し、前処理と後処理に関連するビジネスロジックなどを配置します。これらすべてのコンテンツを SqueezeNet サンプルプロジェクトに配置します。このような単純で直接的な統合方法には明らかな問題があります。ビジネスと密接に結びついており、汎用的ではありません。前処理と後処理はどちらも SqueezeNcnn サンプルに関連しており、他のビジネスコンポーネントに簡単に提供することはできません。考えてみましょう。ビジネス関係者に AI サービスを個別の AI コンポーネントとして提供すると、次のようなことが起こります。

各コンポーネントは NCNN ライブラリに依存し、それを含める必要があり、各コンポーネントの開発者は NCNN インターフェイスに精通し、C 呼び出しコードを記述し、JNI を記述する必要があります。そこで、自然に NCNN コンポーネントを抽出することを考えます。抽出後は、次のようになります。

AOE SDK の NCNN コンポーネント

AOE SDKを使えば、私も虎のように行動できます！AOEオープンソースSDKでは、NCNNコンポーネントを提供しています。4つの側面からNCNNコンポーネントについてお話ししましょう。

NCNNコンポーネントの設計
SqueezeNetサンプルの修正
アプリケーションでNCNNコンポーネントにアクセスする方法
NCNNコンポーネントに関する考察

NCNNコンポーネントの設計

NCNN のコンポーネント設計を理解していなければ、一生懸命働いても 2 ドル 50 セントしか得られないかもしれません。では、そのコンポーネントとは何でしょうか? NCNN コンポーネントの設計コンセプトは、コンポーネントに特定のビジネスロジックは含まれず、NCNN インターフェイスのカプセル化と呼び出しのみが含まれるというものです。特定のビジネスロジックは、ビジネスパーティによって外部で実装されます。インターフェースの定義と設計に関しては、TF Lite のソースコードとインターフェース設計を参考にしました。現在提供されている外部呼び出しインターフェースは次のようになります。

 // モデルとパラメータをロードする
void loadModelAndParam(...)
 // 初期化は成功しましたか?
ブール値 isLoadModelSuccess()
 // RGBAデータを入力する
void inputRgba(...)
 // 推論を実行する
void 実行(...)
 //複数入力および複数出力の推論
void 複数の入力と出力を実行するには、... を実行します。
 // 推論結果を取得する
テンソル getOutputTensor(...)
 // メモリを閉じてクリーンアップする
void close ()を閉じる

そして、機知に富んだ若者自身もこう言った。

 ├── AndroidManifest.xml
 ├── cpp
 │ └── ナック
│ ├── c_api_internal.h
 │ ├── 含む
│ ├── インタープリタ.cpp
 │ ├── インタプリタ.h
 │ ├── jni_util.cpp
 │ ├── jni_utils.h
 │ ├── ネイティブインタープリターラッパー_jni.cpp
 │ ├── ネイティブインタープリターラッパー_jni.h
 │ ├── tensor_jni.cpp
 │ └── tensor_jni.h
 ├── ジャワ
│ └── com
 │ └── ディディ
│ └── あおえ
│ └── ランタイム
│ └── ナック
│ ├── インタープリタ.java
 │ ├── NativeInterpreterWrapper.java
 │ └── Tensor.java
 └── jniLibs
    ├── arm64-v8a
    │ └── libncnn.a
    └── アルメアビ-v7a
        └── libncnn.a

外部呼び出し、モデルの読み込み、および推論のためにインタープリターが提供されます。
NativeInterpreterWrapper はネイティブを呼び出す特定の実装クラスです。
Tensor は主に、いくつかのデータとネイティブレイヤー間の相互作用を伴います。

AOE NCNNをうまく使えば、タスクを早く完了できます。その秘密はここにあります。

複数の入力と複数の出力をサポートします。
効率を向上させるには ByteBuffer を使用します。
入力と出力としてオブジェクトを使用します (実際には ByteBuffer と多次元配列をサポートします)。

実践せずに語るのは単なる空論です。AOE NCNN の実装プロセスを詳しく説明しましょう。

★ 複数の入力と複数の出力をサポートする方法

複数の入力と出力をサポートするために、ネイティブレイヤーに Tensor オブジェクトのリストを作成し、各オブジェクトに関連する入力データと出力データを格納します。ネイティブレイヤーの Tensor オブジェクトは、tensor_jni を介して呼び出すために Java レイヤーに提供され、Java レイヤーはネイティブレイヤーのテンソルを指す「ポインタ」アドレスを維持します。このように、複数の入力と複数の出力がある場合、このリスト内の対応するテンソルを取得するだけでデータ操作を実行できます。

★ ByteBufferの使用

サブセクションを処理するバイトバッファーである ByteBuffer は、従来の配列よりも効率的です。

DirectByteBuffer はオフヒープメモリを使用するため、カーネルにデータをコピーする必要がなくなり、ByteBuffer を使用するよりも効率的です。

もちろん、ByteBuffer の使用はここで取り上げたいことではありません。ByteBuffer を使用する利点についてお話ししましょう。

1. インターフェース内のバイト操作がより便利になりました。たとえば、putInt、getInt、putFloat、getFloat、flip などの一連のインターフェースで簡単にデータを操作できます。

2. ネイティブレイヤーと対話し、DirectByteBuffer を使用して効率を向上します。 Java レイヤーとネイティブレイヤーが「共有」メモリ上で直接操作できるため、中間バイトのコピープロセスが削減されることを簡単に理解できます。

★ オブジェクトを入力と出力として使用する方法

現在、ByteBuffer と MultiDimensionalArray のみをサポートしています。実際の操作プロセスでは、ByteBuffer であればダイレクトバッファであるかどうかを判断して、異なる読み取りおよび書き込み操作を実行します。 MultiDimensionalArray の場合は、異なるデータ型 (int、float など)、次元などに応じてデータを読み書きします。

★ SqueezeNetサンプルの修正

AOE NCNN コンポーネントを統合した後、SqueezeNet を NCNN モジュールに依存させます。SqueezeNet サンプルには、モデルファイルと、前処理および後処理に関連するビジネスロジックのみが含まれています。前処理および後処理は、特定のビジネス実装に応じて、Java または C で実装できます。新しいコード構造は非常に簡潔になり、ディレクトリは次のようになります。

 ├── AndroidManifest.xml
 ├── 資産
│ └── 絞る
│ ├── モデル.config
 │ ├── squeezenet_v1.1.bin
 │ ├── squeezenet_v1.1.id.h
 │ ├── squeezenet_v1.1.param.bin
 │ └── synset_words.txt
 └── ジャワ
    └── com
        └── ディディ
            └──あおえ
                └── 特徴
                │ ├── squeezenet_v1.1.id.h
 │ ├── squeezenet_v1.1.param.bin
 │ └── synset_words.txt
 └── ジャワ
    └── com
        └── ディディ
         └──あおえ
                └── 特徴
                    └── 絞る
                        └── SqueezeInterpreter.java

↑ このサンプルは、他の AI ビジネスコンポーネントから NCNN コンポーネントへの呼び出しにも適用できます。

（素晴らしいものなら全て完了です）

★ アプリケーションでNCNNコンポーネントにアクセスする方法

NCNN コンポーネントにアクセスするには 2 つの方法があります。

直接アクセス

●AOE SDK経由でアクセス

▲2つのアクセス方法の比較：

もう戦いはありません。AOE SDK が勝者だと一方的に宣言します!

★NCNNコンポーネントの概要と考察

NCNN コンポーネントをカプセル化することで、NCNN とのビジネス統合がより高速かつ便利になりました。以前は、NCNN を新しいビジネスに統合するのに半日から 1 日かかることもありました。 AOE NCNN コンポーネントを使用した後、所要時間は 1 ～ 2 時間だけになる場合があります。もちろん、NCNN コンポーネントにはまだ多くの不完全な点があり、NCNN の研究と理解をさらに深める必要があります。今後も継続的な学習を通じて、NCNN コンポーネントの変換と最適化を進めていきます。

<<: DeLu Deep Vision: 3Dマシンビジョンに焦点を当て、セキュリティの「スマートアイ」を照らす

>>: ハイリアンと手を携えてデジタル変革の道を議論する