GPU とニューラル ネットワーク アクセラレータ チップが自動車アプリケーションにインテリジェントな優位性をもたらす仕組みを説明します。

車が自ら考えるのを助ける

—— グラフィックスプロセッシング ユニット( GPU ) とニューラルネットワークアクセラレータ チップが自動車アプリケーションにインテリジェントな利点をもたらす仕組みを説明します。

自動車業界は、自動運転車や先進運転支援システム (ADAS) のあらゆるメリットの実現に向けて、人工知能 (AI) の開発を推進する主要セクターの 1 つです。

車はどんどん賢くなってきていますが、自動車業界が完全な自動運転という目標を達成するには、まだ長い道のりが残っています。業界では完全な自動化を実現するために必要なテクノロジーの理想的な組み合わせについてまだ議論が続いていますが、1つ明らかなことは、人工知能、特にニューラル ネットワークが重要な役割を果たすということです。

ニューラルネットワーク

ニューラル ネットワークは、従来の視覚またはパターン認識システムでは困難なタスクを実行するように設計されています。各ニューラル ネットワークを異なるものにし、特定のタスク向けに設計することで、タスクをより効率的かつ正確に実行できます。

すべてのニューラル ネットワークは、データを複数回処理する複数のレイヤーで構成されています。したがって、特定のパラメータ セットを使用して操作を 1 回だけ実行する代わりに、ニューラル ネットワークを異なる入力パターンで 10 回または 20 回実行できます。これらすべての異なるパスにより、選択肢の数が増えるという考え方です。決定を下すときになると、入力からすべての情報がすでに抽出されています。

道路標識の識別の例では、最初のレイヤーは標識の角の形状を探し、次に色などを探し、それが道路標識であり、それが何を意味するかを高い信頼度で判断できるようになります。これの利点は、すべてのステップをプログラムする必要がなく、ニューラル ネットワークが独自にプログラムを実行し、時間の経過とともに学習し続けることです。アルゴリズムは何を認識する必要があるかを知っており、目標を達成するまでさまざまなアプローチを試しながら学習していきます。ニューラル ネットワークがトレーニングされると、実際のアプリケーションで使用できるようになります。つまり、エンジニアが何時間もかけて複雑なアルゴリズムを微調整する代わりに、ニューラル ネットワークに何を発見する必要があるかを示すだけで、ニューラル ネットワークが自ら学習できるようになります。

これらのテクノロジーは、すでに車両における物体検出、分類、分析に広く使用されており、ドライバー監視、アクセス制御、音声およびジェスチャー認識にもさまざまな種類のニューラル ネットワークを活用できます。さらに、従来のビジョンとニューラル ネットワークを組み合わせた AI 手法は、グラフィックス プロセッシング ユニット (GPU) とニューラル ネットワーク アクセラレータ (NNA) の両方に依存する歩行者経路分析やサラウンド ビューなどのアプリケーション シナリオにも使用できます。

ニューラル ネットワークは、センサーから電子制御ユニット (ECU) までのチェーン全体で使用することもできます。前処理、中間処理、後処理で使用されるさまざまな手法によって、人工知能が組み込まれます。

さらに、V2X（Vehicle-to-Everything）技術も開発中であり、これは主に自律走行車をセンシングキャリアとして使用し、さまざまなスマートシティやスマート交通のシナリオにデータと情報を提供するものです。繰り返しになりますが、これらの進歩は、GPU と NNA を採用して、ますます大きくなる入力セットからのさまざまな分析と計算をサポートする AI アプローチに依存します。

センサーフュージョン

自動運転車や高度に自動化された車両は、カメラ、サーマルイメージング、レーダー、LiDAR など、さまざまな種類のセンサーに大きく依存します。これらすべてのセンサーからの信号を解釈して統合し、車両の内外で何が起こっているかの全体像を作成する必要があります。

センサーフュージョンは自動運転にとって非常に重要であり、GPU とニューラルネットワーク、機械学習と人工知能の組み合わせが必要になります。

車内のセンサー融合の良い例は、ドライバー監視です。今日の自動車では、さまざまなセンサーが運転者の注意散漫を検知することができます。ニューラル ネットワークは、運転者の撮影画像を分析して、運転者が眠っているか、疲れているか、気が散っているか、さらにはモバイル デバイスで通話またはテキスト メッセージを送信しているかを判断できます。これは初期の自動運転車にとって非常に重要な情報です。なぜなら、ドライバーが適切な状態にあるかどうかを車が知る必要があるため、特定のタイミングでドライバーが車両の制御を取り戻す必要がある場合があるからです。

ドライバー監視はどのように機能しますか? ドライバーの顔に向けられたカメラが、顔の要素、特に目を分析するアルゴリズムに入力を提供します。目は開いていますか、それとも閉じていますか? 閉じている場合、どのくらいの時間ですか? 目はさまよっていますか? 運転手はどこを見ていますか?

顔全体を観察することで、運転手が怒っているのか、悲しんでいるのかを判断できます。怒りによるものであれば、システムは運転を続ける前に車を停めて落ち着くようにドライバーにアドバイスします。

これらはすべて、顔画像を構築し、重要なポイントを抽出し、ニューラル ネットワークを使用して感情や視線の持続時間などを抽出し、ドライバーの精神状態を判断することに基づいています。

今後2～3年で、運転者モニタリングは欧州新車アセスメントプログラム（NCAP）と米国道路交通安全局（NHTSA）の承認要件になる可能性があり、自動車メーカーは高級車だけでなくすべての車両にこれを実装しなければならない技術となる。

自動運転のレベル

米国自動車技術協会（SAE）と米国道路交通安全局は、自動運転車の能力を 6 つのレベルに分類しています。基本的に、レベル 0 ではまったく自動化が行われませんが、レベル 1 では車がドライバーに何らかの支援を提供します。レベル 2 では、より多くの運転支援機能があり、衝突を回避するための自動緊急ブレーキなど、一部のタスクを自動的に実行することもできます。

レベル 3 は、車が自動運転であっても、ドライバーが常に車両を制御できるように準備しておかなければならないため、難しいレベルです。ドライバー監視はレベル 3 の自動運転の鍵となります。ドライバーは介入する準備ができていなければならず、ある程度、車両にはドライバーの準備が整っていることを確認する責任があるからです。

レベル 4 では、ドライバーが運転を引き継ぐことができるものの、理論上は車両があ​​らゆる状況に対処できます。レベル 5 の車両は完全に自動化されており、ハンドルやペダルはありません。

車両の自律性がレベルごとに向上するごとに、必要なコンピューティング性能は約 10 倍に増加します。ニューラル ネットワークが重要なのは、非常に低い消費電力でこのパフォーマンスを実現できるためです。

物体検出

歩行者を例にとると、車に搭載されたカメラとセンサーは、歩行者が歩いているのか立っているのか記録することができ、ニューラル ネットワークを使用して歩行者が進む可能性のある経路をマッピングし、車両が減速または急ブレーキをかける必要があるかどうかを計算できます。ニューラル ネットワークは同じ画像を見てそれを分割し、他のオブジェクトを選択し、オブジェクト認識技術を適用して、それらが車両が注意を払う必要があるものを表しているかどうかを判断することもできます。これらすべては、車両がどこにあり、どこに行きたいのかを考慮する必要があり、車両が後退しているときに車両の後ろに子供がいることを検知した場合は、すぐに処理してブレーキをかける必要があります。これを実現するには、そこに物体があるかどうかを確認し、それが子供であると認識し、アクチュエーターまたはドライバーに信号を送ってアクションを起こすための人工知能とニューラル ネットワークが必要です。

カメラには通常、何らかの魚眼レンズが付いているため、状況はさらに複雑になります。これにより歪んだ画像が生成され、解釈する前に修正する必要があります。一瞬の判断を下すには、このデバイスと他のセンサーからの入力を組み合わせる必要があります。

データ処理

同時に、すべてのセンサーからの情報や、無線通信を介して受信される他の車両やインフラストラクチャからの情報など、他の情報が車の周囲から絶えず届きます。これはおそらくテラバイト単位の膨大な量のデータです。

ECU は車内各所に配置され、データに基づいて判断を下します。これには 100 個以上の ECU が関係する場合があります。業界では、より少ない ECU とより多くの計算能力でこれを実現する方法を模索するために、さまざまなアプローチを採用しています。カメラやセンサーと並んで組み込まれた AI がいくつかの決定を下すことができるため、車両が中継する必要のある情報の量を削減できます。

つまり、異なるレベルの治療が必要になります。魚眼レンズからの画像をまっすぐにするなど、キャプチャ時点でデータを前処理できます。中間処理には、さまざまな計画されたタスク、ターゲットの識別、意思決定などが含まれる場合があります。その後、後処理が行われ、情報が整理されて画面に表示されると、ドライバーは何が起こっているのか、何が起こったのかを知ることができます。

応用

これらのデータ処理技術は、現在開発中の、車両内に仮想サラウンドビューのボディサポートピラーを作成するアプリケーションの作成にも使用されています。このユースケースでは、柱（ルーフと車体をつなぐ支柱）にカメラを取り付けて、車外で何が起こっているかを撮影します。支柱の内側にディスプレイが設けられ、カメラが撮影している内容が表示されるため、ドライバーは途切れることのない視界を確保できます。

このプロセスを実現するのは非常に困難です。システムは、ドライバーが見ているシーンの反対側で何が起こっているかを理解する必要があります。画像の歪みを補正し、凹凸のある表面や曲面に配置してから、サポート コラムの輪郭に合わせて再度歪ませる必要があります。

この進歩は将来のトレンドですが、一部の高級車ではすでにサラウンドビュー システムが提供されており、まもなくミッドレンジおよびエントリーレベルの車両にも搭載される予定です。 GPU は、車両の周囲に設置されたさまざまなカメラ (通常は 4 台または 5 台) で撮影された画像を分析し、画像をつなぎ合わせるために使用されます。つなぎ合わせた画像に基づいて、ニューラル ネットワークが物体検出と経路予測を実行し、それらの物体が車両の進路を妨げる可能性があるかどうかを確認します。

インフォテインメントとナビゲーション

GPU は車載インフォテインメント (IVI) やナビゲーションでも重要な役割を果たします。彼らは音声制御にも携わっており、音声制御は人間と車の間の重要なインターフェースとなる可能性が高い。そのため、運転手は目的地を入力するためにボタンやキーパッドを操作する代わりに、郵便番号や通りの名前を話すだけで、システムにルートを計画するよう依頼できます。

ダッシュボードは道路標識認識などの操作のために外部カメラに接続されます。カメラが速度制限標識を捉えると、その標識が有効時間の間運転者の前に表示され、車が速度制限を超えた場合は警告音が発せられます。

実際、計器表示領域全体で、画像のレンダリングと情報の優先順位付けに GPU が使用されます。システムがドライバーが重要な情報を知る必要があると判断した場合、その情報は計器表示領域からポップアップ表示されたり、フロントガラスに投影されたりすることがあります。フロントガラス上の画像はナビゲーション システムの一部としても使用でき、ドライバーに曲がる正しい方向を示したり、次の交差点で車がどの車線に入る必要があるかを説明したりすることができます。

バックミラーの交換は、もう一つの大きな潜在的な開発方向です。すでに、バックミラーの代わりにさまざまなカメラからの映像を表示するスクリーンを備えた新型車が開発されている。従来のバックミラーと同様に、車の後ろで何が起こっているかを表示するだけでなく、死角の検出にも使用できます。ここで、ニューラル ネットワークは、ドライバーが見ることができない車についてドライバーに警告し、車が別の車の進路に車線変更するのを自動的に防ぐことができます。

スマートシティ

世界中の地方自治体は、町や都市全体をカバーするインテリジェントな交通システムに自動運転車や高度に自動化された車両を統合したスマートシティを実現するという長期目標に向かって動いています。

その背後にある考え方は、すべての都市サービスと計画努力が調整され、連携されることによって、市民がより多くの情報を得て、都市生活がより快適になり、そしてさらに重要なことに、より健康的になるというものです。この目標を達成するには、汚染と交通渋滞を減らすことが重要です。

インテリジェント交通システムは都市全体の交通インフラを制御します。インフラストラクチャは車両と通信し、信号機と車両も相互に通信して収集したデータを送り返します。

一例としては、車両が最適な速度で妨げられることなくエリア内を移動できるように信号を制御することが挙げられます。緊急サービス車両が急いで移動する必要がある場合、これらの同じ信号を使用して他の道路利用者を停止し、安全な経路を確保することができます。

ある場所で交通渋滞が発生した場合、車両はこの情報をインフラに中継することができ、インフラは問題の深刻化を防ぐために他の車両にそのエリアから離れるよう通知し、交通渋滞をより早く解消することができます。これは高速道路の入口ランプなど、都市外でも使用できます。システムが反対方向から走行する車の渋滞を検知した場合、高速道路に入る前にドライバーに警告を発し、別のルートを検討できるようにします。

これを実現するには、都市には、入ってくる情報を処理し、他の車両や信号機に送信するデータを計算できる中央スマートハブが必要になります。これは、ニューラル ネットワーク、人工知能、機械学習、高度なアルゴリズムの組み合わせによってのみ可能になります。

結論は

NHTSAの調査によると、高度に自動化された車両は人間が運転する車両よりも安全であり、事故の94%は人為的ミスによって引き起こされていることが判明しました。 AI ベースのテクノロジーは、応答性と迅速な対応を必要とする脅威の特定という点で、すでに人間のドライバーよりも優れています。

これらの車両に必要な処理能力を実現するには、NNA と GPU を組み合わせて使用​​する必要があります。自動車業界が完全自動運転車へと移行するにつれ、コンピューティング能力を大幅に増強する必要があり、NNA はこの需要を満たす上で重要な役割を果たすことになります。レベル 5 の自動運転車には、レベル 1 の自動運転車の 10,000 倍の計算能力が必要であると推定されています。

これにより処理パフォーマンスは大幅に向上しますが、与えられた電力予算内で実行する必要があります。ニューラル ネットワーク アクセラレータ (NNA) のパフォーマンスは中央処理装置 (CPU) の 100 ～ 800 倍ですが、完成したパッケージは CPU よりもはるかに小さくなります。車には 1 つの大きな CPU が搭載され、多数の NNA が車全体に分散され、車全体に分散された CPU よりもはるかに低い電力で、より高いパフォーマンスでさまざまなタスクを実行します。

Imagination Technologies は、GPU および NNA シリコンの知的財産 (IP) を提供しました。同社はデジタル計器クラスターの技術においてどのライバルよりも優れており、先進運転支援システム（ADAS）や自動運転車市場でもリーダー的存在である。自動運転車の実用化に必要な要素はすべてこれらの技術に依存しており、これらの技術が現実のものとなるのは時間の問題です。

[[285914]]