自動運転のためのニューラルネットワークとディープラーニング

先進運転支援システム (ADAS) は、道路の安全性と旅行体験に対するドライバーと乗客のより高い要求を満たすソリューションを提供できます。現在のモデルでは、車線逸脱警報、自動ブレーキ、駐車支援などのシステムが広く使用されており、さらに強力な車線維持、渋滞支援、アダプティブクルーズコントロールなどのシステムにより、将来的には完全自動運転車が現実のものとなります。

現在、車両の多くのシステムでマシンビジョンが使用されています。マシンビジョンは、従来の信号処理技術を使用してオブジェクトを検出および識別します。ディープラーニング ニューラル ネットワークは、ADAS 機能のさらなる改善と拡張に熱心な自動車業界にとって、刺激的な研究の道を開きます。高速道路でのフルタイム自動操縦などの短期的な支援モードからフルタイムの無人走行まで、自動運転を実現するために、自動車製造業界は応答をより速くし、認識をより正確にする方法を模索しており、ディープラーニング技術が間違いなくその道筋を示しています。

有名ブランドが主導する自動車製造業界は、ディープラーニング ニューラル ネットワーク テクノロジーに投資しており、先進的なコンピューティング企業、シリコン バレーなどのテクノロジー エンジン、学界と連携しています。中国では、Baidu は常にこの技術において主導的な地位を維持してきました。百度は、2019年に完全自動運転車を商用化し、2021年には完全自動運転車の大量生産を増やして広く普及させる計画だ。自動車業界とテクノロジーリーダーの緊密な連携は、組み込みシステム向けニューラル ネットワークの開発を促進します。このタイプのニューラル ネットワークは、システム サイズ、コスト、電力消費に関する自動車アプリケーション環境の要件を満たす必要があります。

1軽量組み込みニューラルネットワーク

畳み込みニューラル ネットワーク (CNN) のアプリケーションは、トレーニング、変換、および実稼働対応ソリューションでの CNN の実行という 3 つの段階に分けられます。大規模な車両アプリケーションでコスト効率と効率に優れた結果を達成するには、各段階で最も有利なシステムを使用する必要があります。

トレーニングは、多くの場合、CPU ベースのシステム、グラフィックス プロセッシング ユニット (GPU)、またはフィールド プログラマブル ゲート アレイ (FPGA) を使用してオフラインで実行されます。これらは、計算能力と設計者の熟練度により、ニューラル ネットワークのトレーニングに最適なシステムです。

トレーニング フェーズでは、開発者は Caffe (Convolution Architecture For Feature Extraction) などのフレームワークを使用して CNN をトレーニングおよび最適化します。参照画像データベースは、ネットワーク内のニューロンの最適な重みパラメータを決定するために使用されます。トレーニングが完了すると、従来の方法を使用して、CPU、GPU、または FPGA 上でネットワークとプロトタイプを生成し、特に浮動小数点演算を実行して最高の精度を確保できます。

車載ソリューションとして、このアプローチにはいくつかの重大な欠点があります。計算効率が低く、コストが高いため、大量生産システムでは使用できません。

CEVA は別のソリューションを導入しました。このソリューションは、浮動小数点のワークロードを削減し、自動車用アプリケーションに許容される電力消費レベルでリアルタイム処理パフォーマンスを実現します。完全自動運転に必要なコンピューティング技術が進歩し続けるにつれて、主要機能を高速化する戦略により、これらのシステムが広く使用されるようになるでしょう。

ネットワーク生成戦略は、CDNN と呼ばれるフレームワークを使用して改善されます。改良された戦略では、高出力浮動小数点コンピューティング プラットフォーム (Caffe などの従来のネットワーク ジェネレーターを使用) で開発されたトレーニング済みのネットワーク構造と重みを取得し、それを固定小数点演算に基づくコンパクトで軽量なカスタム ネットワーク モデルに変換します。次に、このモデルは、特別に最適化されたイメージングおよびビジョン DSP チップに基づく低電力組み込みプラットフォーム上で実行されます。図 1 は軽量組み込みニューラル ネットワークの生成プロセスを示しています。この技術により、今日の量産車の限られた電力予算内で高性能なニューラル処理が可能になり、元のネットワークと比較して画像認識精度が 1% 未満しか低下しません。

図1 CDNNは従来の方法で生成されたネットワーク重みを固定小数点ネットワークに変換する

英語の説明:

ネットワーク構造

画像データベース

トレーニングステージ（オフライン）

ネットワークの重み ネットワークの重み

浮動小数点ネットワーク+重み

CEVA ネットワークジェネレーター CEVA ネットワークジェネレーター

固定小数点のカスタマイズされたネットワーク+重み 固定小数点のカスタマイズされたネットワーク+重み

検出段階（リアルタイム）

低電力組み込みプラットフォームでホストされる、入力サイズが 224 x 224、畳み込みフィルターが 11 x 11、5 x 5、3 x 3 の 24 層畳み込みニューラル ネットワークは、必要なメモリ帯域幅が 5 分の 1 で消費電力が大幅に少ないにもかかわらず、一般的な GPU/CPU 複合処理エンジンで実行される同様の CNN よりもほぼ 3 倍優れたパフォーマンスを発揮します。

2 次世代ディープラーニングニューラルネットワーク

自動車業界がニューラル ネットワークの分野に参入して得た経験は、テクノロジーの発展を推進し続け、レベルごとの多層トポロジ、マルチ入力/マルチ出力、完全畳み込みネットワークなど、より高度なネットワーク アーキテクチャとより複雑なトポロジの開発につながっています。物体だけでなくシーンの認識にも使用できる重要な新しいネットワーク タイプが導入され、自動運転機能などの自動車アプリケーションの解決に必要な画像セグメンテーションが提供されます。もちろん、中国の約40社の自動車メーカーが単独で行動しているわけではない。彼らはBaiduなどのテクノロジー企業と緊密に協力することになる。テクノロジー企業は、これらのネットワークとアーキテクチャの開発において中心的な役割を果たしています。 CNN ネットワーク ジェネレーター機能の改善により、SegNet、GoogLeNet、ResNet などの新しいネットワーク アーキテクチャとトポロジ、および高度なネットワーク レイヤーもサポートされるようになりました (図 2)。さらに、ワンクリックアクティベーションにより、事前トレーニング済みのネットワークを最適化されたリアルタイムネットワーク実行に変換することも容易になります。一般的に使用されるネットワーク ジェネレーターのサポートを確実にするために、CDNN フレームワークは Caffe および TensorFlow (Google の機械学習ソフトウェア ライブラリ) と連携します。

図2 ネットワークジェネレータの進化により、新しいネットワーク層とより深いアーキテクチャがサポートされる

英語の説明:

典型的なCNNレイヤー 典型的なCNNアーキテクチャ

入力

畳み込みステージ:アフィン変換 畳み込みステージ:アフィン変換

検出器ステージ：非線形性

プーリング段階

正規化段階（オプション） 正規化段階（オプション）

出力: 特徴マップ 出力: 特徴マップ

最新の組み込み処理プラットフォームはスケーラビリティと柔軟性が向上しているため、組み込み展開でもこれらの改善を活用できます。ディープラーニングの分野がますます多様化するにつれて、現在の処理ニーズを満たすだけでなく、将来の技術革新にも対応できる柔軟なアーキテクチャを持つことが重要になります。

3. 道を切り開く

最初のニューラル ネットワーク アプリケーションは、自動歩行者、交通標識、道路特徴の認識などの機能をサポートする視覚処理に重点を置きます。ニューラル ネットワークは、高解像度カメラからのますます大きなデータ セットを処理するなど、これらのシステムのパフォーマンスが向上し続けるため、将来の自動車でもより大きな役割を果たすことが期待されています。これらの役割には、レーダー モジュールや音声認識システムなどのシステムにおけるその他の複雑な信号処理タスクの実行も含まれます。

車載自動運転システムでニューラルネットワークの採用が進むにつれ（一部の国では2019～2020年モデルの新車にニューラルネットワークを採用するとの報道もある）、安全性と信頼性を兼ね備えたシステムの需要が高まっていくでしょう。中国政府は2021年から2025年の間に自動運転車を発売する計画だ。このようなシステムを顧客が使用できるようにするには、自動車メーカーは、ISO 26262 機能安全などの関連する安全規格に準拠していることも確認する必要があります。これには、ハードウェア、ソフトウェア、システムの包括的な開発が必要です。

これらのシステムが複雑になるにつれて、信頼性、安全性、処理要求への対応を保証することが自動車メーカーにとってますます大きな課題になります。

4 結論

機械学習ニューラル ネットワークは、効率的な処理パフォーマンスに挑戦する開発の道を歩み続けます。高度なニューラル ネットワーク アーキテクチャは、人間よりも優れた認識精度を実証しています。 CDNN2 などのネットワークを生成するための新しいフレームワークは、軽量で低電力の組み込みニューラル ネットワークの開発を推進しています。このニューラル ネットワークにより、現在の先進運転支援システムの精度とリアルタイム処理能力が向上します。

量産車両におけるディープラーニング ニューラル ネットワークの初期使用は、基本的な視覚認識システムに限定されますが、将来的には自動化が進む車両をサポートし、多数の複雑な信号処理の課題に対処するのに役立ちます。