AIIAがAIチップベンチマークの第一ラウンドの結果を発表

3月6日、国際電気通信連合と中国情報通信研究院が共催し、人工知能産業発展連盟（AIIA）とZTEが主催する国際フォーラム「5GにおけるAI - 新時代をリードするフォーラム」が深センで開催された。世界的な通信事業者、標準化団体、インターネット企業、機器メーカー、大学など、さまざまな業界の専門家やゲストが集まり、AI が 5G ネットワーク インテリジェンスと業界アプリケーションのイノベーションをどのように強化できるかについて議論しました。会議で、AIIAは「AIIA DNNベンチマークV0.5」の第1ラウンドの評価結果を正式に発表しました。この評価はAIIAの権威あるテストプラットフォームに基づいており、4つの典型的なアプリケーションシナリオにおけるディープラーニング処理機能を備えたプロセッサまたはアクセラレータのパフォーマンスレベルを客観的に反映しています。最初の評価ラウンドに参加している製品は、HiSilicon Kirin 980 と Rockchip RK3399 開発ボードです。

国内権威あるAIチップベンチマークテスト

AIIA副事務局長の王愛華氏はフォーラムで評価の背景を紹介した。現在のAIチップの能力を真に反映し、より多くのAIチップ企業の参加を促し、市場の健全な発展を促進するために、中国科学技術部、工業情報化部、サイバースペース管理局の指導の下、AIIAは2018年10月に中国の多くの代表的なアプリケーション企業、主流チップ企業、チップツール企業とともに、「人工知能エンドサイドチップベンチマーク評価スキームバージョン0.5」を正式にリリースし、2018年12月に第1ラウンドの評価を開始しました。

[[258946]]

図1：AIIA副事務局長の王愛華氏が評価の背景を紹介

第1回評価結果発表

AIIA DNN ベンチマーク V0.5 テスト評価は主にエンド側を対象としており、推論タスクを完了する際のディープ ニューラル ネットワーク アクセラレーション機能を備えたプロセッサのパフォーマンスを客観的に反映することを目的としています。 AIIA全体グループの責任者である孫明軍氏が、業界に向けて第1回目の評価結果を正式に発表した。

図2：AIIAゼネラルグループリーダーの孫明軍が第1ラウンドの評価結果を発表

孫明軍氏は、第 1 ラウンドの評価には 4 つの典型的なシナリオ (図 3 を参照) と、速度 (fps) とアルゴリズムのパフォーマンス (top1、top5、mAP、mIoU、PSNR など) を含む 2 つの評価指標カテゴリが含まれていたと述べました。注目すべきは、これがディープラーニング プロセッサの分野で整数と浮動小数点の比較を区別する最初のベンチマークであるということです。

図3: 評価指標と適用シナリオ

AIIA DNN ベンチマーク V0.5 テストの第 1 ラウンドでは、Kirin 980 と Rockchip RK3399 開発ボードの 2 つの製品が評価されました。

HiSilicon Kirin 980 - 7nmプロセスを採用し、Mate20シリーズのモバイル端末に適しています。具体的な評価結果を図4、図5に示します。

図4: シナリオ1におけるHiSilicon Kirin 980の評価結果

図5: シナリオ2/3/4におけるHiSilicon Kirin 980の評価結果

Rockchip RK3399 開発ボード - このチップはセキュリティなどの分野で広く使用されており、28nm プロセスを採用しています。結果は、浮動小数点モデルを固定小数点に再トレーニングする必要がない場合、int8 計算は最大 1% の精度低下で浮動小数点計算の 2 倍のパフォーマンスを達成できることを示しています (図 6 を参照)。

図6: Rockchip RK3399開発ボードの評価結果

オープンソース評価ツール

AIIA DNN ベンチマーク V0.5 テスト評価ツールはオープンソースであり、Android システムをサポートし、すべての POSIX 互換システムに簡単に移行できます。ユーザーは、プロジェクト ドキュメントに従ってフレームワークまたは新しいモデルを追加できます。今後の市場の需要に応じて、AIIA DNN ベンチマーク プロジェクトは引き続き更新されます。

Sun Mingjun 氏は、ベンチマーク ツールの v0.5 バージョンでは CPU/GPU/DSP/NPU に基づいてターミナル推論タスクを評価でき、評価をサポートする機械学習フレームワークには TensorFlow/Caffe が含まれることを紹介しました。完成しているモバイル適応環境としては、HiAI/SNPE/Tengine/TensorFlow Lite/MACE/NCNNなどがあります。

プロジェクトコードは Github にオープンソース化されており、リンクは次のとおりです: https://github.com/AIIABenchmark/AIIABenchmark

v1.0評価プランは近日公開予定

会議では、西安交通大学の任鵬玉教授がAIIA DNNベンチマークV0.5の第1ラウンドの評価結果を解説し、業界に向けて評価プログラムのフォローアップ推進計画を発表しました。AIIA DNNベンチマークプロジェクトv1.0の正式版は、今年上半期に正式にリリースされる予定です。

図7：西安交通大学の任鵬玉教授がバージョンv0.5の評価結果を説明している

図8: バージョン0.5の評価結果の分析

図9: バージョン0.5の評価結果の分析

最後に、ARM China AI テクノロジー マーケティング マネージャーが「ARM China Zhouyi オープン AIoT アプリケーション プラットフォーム」と題した講演を行いました。同氏は、ARM人工知能ZhouyiプラットフォームがAIIA DNNベンチマークプロジェクトにうまく接続され、チップ企業がARMチップの客観的かつ公正なAI性能評価レポートを取得するのを支援すると同時に、アプリケーションアルゴリズム企業のチップ選択を容易にすることを目指していると述べた。

図10：ARM中国AIテクノロジーマーケティングマネージャーがスピーチを行った

今後、AIIA は業界の発展のニーズに適応し、評価基準を繰り返し改訂していきます。 AIIA DNNベンチマークプロジェクトv1.0の正式版の評価対象はさらに充実し、音声、自動運転、セキュリティなどのアプリケーションシナリオにおけるAIチップがカバーされる予定です。オープンで双方にメリットのある産業エコシステムに基づく AIIA DNN ベンチマーク プロジェクトは、より多くの企業や開発者の参加を引き付けることが予想されます。