ディープラーニングフレームワークの競争: TNN vs. MNN、NCNNは依然として定番

近年、「オープンソース」は開発者コミュニティにおける新たなトレンドとなっています。

特にディープラーニングフレームワークについては、テンセントが2017年にncnnをオープンソース化して以来、主要なAI研究所はより迅速なイノベーションを実現するために、独自のフレームワークを「惜しみなく」オープンソース化してきました。

テンセントは今年6月10日、NCNNをベースに設計されたディープラーニング推論フレームワークであるTNNもオープンソース化すると発表した。 TNN がオープンソース化された後、多くの開発者がそれを ncnn や MNN などのオープンソース フレームワークと比較しました。

TNNはやや性能が優れており、モバイル端末向けである。MNNは汎用性に優れている。

TNN はもともと、一方ではコンピューティング能力の向上を、他方ではモバイル デバイスのサポートを重視するように設計されました。そうでなければ、ユーザーは、TNN を使用するために、優れたエコシステムを備えた MNN や誰もが使い慣れている ncnn を放棄する必要はありません。

TNNはncnnをベースに開発され、再構築されアップグレードされています。コンピューティング能力の大幅な向上に加えて、TNN をベースに、開発者はディープラーニング アルゴリズムを携帯電話に移植し、モバイル AI 製品を開発することもできます。

MNN、ncnn、TNN のパフォーマンスを比較するために、次の主流プラットフォームでテストを実施しました。

TNN は依然としてパフォーマンスの面で優位性があることがわかります。しかし、いくつかの環境でのテストは実際にはMNNに匹敵します。アリババの開発チームも、TNNのパフォーマンスがMNNの改善に影響を与えたと述べていますが、2000msから700msへの飛躍にはまだ少し遅れています。

TNN のパフォーマンスを向上させる鍵は、低精度コンピューティングです。モバイル端末に移植できない根本的な理由は、携帯電話のプロセッサが比較的弱いためであり、フレームワークがミッドエンドおよびローエンドのマシンに適応することが非常に重要です。 TNN はこの点で優れた機能を発揮し、ミッドエンドおよびローエンドのマシンで約 20% のパフォーマンス向上を実現します。

普遍性と軽量性も TNN フレームワークのハイライトの 1 つであり、異なるフレームワーク間のモデル変換問題の一部を解決します。ただし、TNN モデルの変換は ONNX に基づく必要があり、これは MNN のように直接サポートされていません。操作手順が 1 つ増えるだけですが、汎用性が大幅に低下します。

普遍性という点でも、MNN の利点は疑う余地がありません。MNN は普遍性に多大な努力を注いでいます。サポートされている演算子の数から、これが MNN の重点の 1 つであることがわかります。

演算子の実装に関しても、MNN はコンピューティング バックエンドで最も幅広くサポートされています。 ARM v8.2 に加えて、MNN は GPU 演算子のサポートに関しても他の 2 つのフレームワークをはるかに上回っています。

オープンソースの重要な問題であるコードの読みやすさについてお話ししましょう。 TNN と ncnn は CPU コード フレームワークが非常に似ていますが、そのスタイルと構造は ncnn をはるかに上回っており、読みやすくなっています。 MNN もこの点では優れています。コード構造において、MNN と TNN の間には依然として多くの類似点があります。これらの類似点により、MNN から TNN へのコード移行がより簡単になります。

一般的に、ncnn は 2017 年の最初のオープンソース フレームワークとして、非常に古典的です。 TNN と MNN のパフォーマンスの差が大きくない場合、それぞれに利点があるため、どちらのフレームワークを選択するかは個人の好みの問題です。

NCNNを皮切りに、オープンソースのディープラーニングフレームワークが大きなトレンドとなっている

ペンギンは最近、噂のせいでからかわれていますが、オープンソースのディープラーニング フレームワークという点では、2017 年 7 月に ncnn をオープンソース化してくれたこの愚かな白い甘いガチョウに本当に感謝しなければなりません。これにより、オープンソースのディープラーニング フレームワークの「ブーム」がほぼ始まりました。

業界関係者全員による 3 年間のたゆまぬ努力 (革新) の結果、RK3399 のシングル コア上の VGG16 の推論速度は 2000 ミリ秒以上から 700 ミリ秒以上にまで短縮されました。オープンソースだからこそ、全員の知恵を結集し、このような優れたパフォーマンス向上を実現できるのです。

ベテラン フレームワークである ncnn は、モバイル プラットフォーム向けに最適化された高性能ニューラル ネットワーク推論コンピューティング用に開発されました。 ncnn は設計当初から、携帯電話での展開と使用について慎重に検討されました。 ncnnは現在、おなじみのWeChat、QQなどを含む多くのTencentアプリケーションで使用されています。

[[332242]]

MNN も非常に重要なオープンソース フレームワークです。 MNN は効率的で軽量なディープラーニング フレームワークです。ディープモデル推論とトレーニングをサポートし、特に端末側での推論とトレーニングのパフォーマンスにおいてリードしています。現在、MNN は、Taobao Mobile、Tmall Mobile、Youku、DingTalk、Xianyu など、Alibaba の 20 のアプリケーションで使用されています。

MNN はパフォーマンスの向上に大きく貢献しており、開発者に好まれるフレームワークとなっています。

TNNは、2020年にテンセントがオープンソース化したモバイル推論フレームワークです。高性能かつ軽量という特徴を持ち、クロスプラットフォーム、高性能、モデル圧縮、コード調整など多くの利点があります。現在、TNN は QQ、Weishi、Ptu などのモバイル アプリケーションに実装されています。

これら 3 つの主流フレームワークに加えて、PPL など、よく使用される他のフレームワークもいくつかあります。しかし、PPL はまだオープンソースではないため、SenseTime はまだ「いくつかの留保を残しておきたい」のかもしれません。実際、ncnn がオープンソース化されたとき、PPL が登場し、そのパフォーマンスが優れていると言われました。PPL は、実際に開発者が頻繁に使用するフレームワークの 1 つです。

Baidu は、Padle-Lite と呼ばれるフレームワークをオープンソース化しました。 Paddle-Mobile は、モバイル、組み込み、IoT デバイスでの推論を簡素化するように設計されたオープンソースのディープラーニング フレームワークです。 PaddlePaddle やその他のソースからの事前トレーニング済みモデルと互換性があります。

雷軍氏もオープンソースフレームワークに関わっています。Xiaomiの主な事業は依然としてハードウェアであるため、オープンソースフレームワークは確かに珍しいものです。 MACE は、Android、iOS、Linux、Windows デバイス上のモバイル異種コンピューティング向けに最適化されたディープラーニング推論フレームワークです。

最後に、便宜上、オープンソース フレームワーク パッケージを以下に示します。

テンセント: https://github.com/Tencent/ncnn

MMNN: https://github.com/alibaba/MNN

TNN: https://github.com/Tencent/TNN

PL: https://github.com/PaddlePaddle/Paddle-Lite

メイス: https://github.com/XiaoMi/mace