チップ大手は、写真を撮ることよりも面白くないこれらの新しいAI技術を秘密裏に開発している

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

チップのパフォーマンスがボトルネックに達しようとしていると感じているかどうかはわかりません。

チップ製造プロセスだけを見ても、7nmから5nm、そして3nmへと、ムーアの法則にどんどん近づいています。

その結果、多くのメーカーがAIを利用してチップの性能にインスピレーションを与えようとし始めました。ニューロモルフィズムからAIを使ったチップの設計まで、人々はさまざまな技術的なルートを試みています。

この場合、次世代のチップに最も適用される可能性が高い新しい AI テクノロジはどれでしょうか?

この点について、クアルコムのエンジニアリング技術担当副社長であるホウ・ジレイ氏にインタビューしました。

Jilei Hou博士はカリフォルニア大学サンディエゴ校を卒業し、Qualcommに19年間勤務し、現在はQualcommのAI研究プロジェクトの責任者として、Qualcomm AI Researchの技術革新計画を担当しています。

インタビューの中で、ホウ博士は、基盤、プラットフォーム、アプリケーションという3つの研究方向におけるクアルコムのAI研究における先駆的な技術的成果のいくつかを共有しました。

そのうち、基礎研究は主にニューラル圧縮やAI+量子コンピューティング関連分野の探索など、最先端かつ基礎的なAI技術に焦点を当てています。

プラットフォーム研究では、主にプラットフォーム機能とイノベーションの観点からAI技術の開発を促進し、エネルギー効率を向上させ、定量技術や連合学習などのエンドサイド学習を行っています。

応用研究には、モバイルビデオAI技術や3D+AI技術が含まれており、スマートフォン、XR、自動運転など、さまざまな産業応用分野の技術研究をカバーしています。

同時に、ホウ博士は「AI実装マニア」であるクアルコムがAI技術をチップにいち早く応用した秘密も数多く明かした。見てみましょう。

チップメーカーはひっそりと新しいAIを開発している

クアルコムの最も有名な AI 技術は量子化ですが、最新の技術を確認したい場合は、クアルコムの AI 研究に関するトップカンファレンスの論文を探す必要があります。

論文から判断すると、クアルコムが比較的注力しているAI基礎技術は、ニューラル強化、弱教師あり学習、ニューラル推論、量子AIの4つの方向性である可能性がある。

まず、クアルコムがすでに無線通信に使用している神経拡張技術について見てみましょう。

通常、無線通信信号を処理するには、主に 2 つの方法があります。1 つは従来のフィルターを使用して一連の式を作成することで、もう 1 つは AI を使用して直接トレーニングし、結果を予測することです。前者はあまり正確ではなく、後者はトレーニング データが多すぎます。

Qualcomm はこれら 2 つを組み合わせることを選択しました。これにより、従来のフィルターを維持しながら、AI が独自にパラメータを学習して調整できるようになります。

そうです、 AIに独自のパラメータを調整することを教え、カルマンフィルタを適用するシナリオと同様に、一見難解な数式を巧みに適用して習得し、AIがQRパラメータを自分で調整することを学習できるようにすることです。

あるいは、マクスウェル方程式を例にとると、Qualcomm は AI を使用して H の分布を学習しながら、y=x*H モデルの線形性を維持することを選択しました。

同様の技術を携帯電話の無線通信ベースバンドに利用できれば、信号はさらに強化される可能性があります。

そして、神経強化はクアルコムの神経推論研究のほんの一部に過ぎません。 AI が本当に論理的思考と抽象的能力の両方を備えているのであれば、チップ性能の飛躍的進歩もそう遠くないだろう。

弱教師あり学習について言えば、この方向性は常にロングテール問題を解決し、AI 技術を新しいシナリオに適用する際の主要なトレンドの 1 つでした。

この技術は、「AIに自ら学習させる」のと同様に、データのラベル付けエラーによるAIの精度低下を回避し、ラベル付けコストを削減することで、少量のラベル付けデータで教師あり学習に近い、あるいはそれを超える精度結果を達成することを目指しています。

Hou 博士は、昨年の MWC で Qualcomm が行った、弱いラベリング手法を使用して比較的高い精度で位置決めモデルをトレーニングするデモを紹介しました。

そして最も驚くべきことは、この測位モデルが視覚的な手段ではなく、弱い教師あり学習と自己教師あり学習法を使用して、無線周波数信号を通じて測位を学習することです。

屋内測位シナリオに必要な信号データのラベル付けは比較的複雑です。無線周波数センシング方式では、弱教師あり学習を使用することで、コストを効果的に節約し、効率を向上させることができます。

さて、これであなたの上司は、ワイヤレス信号を使用して、あなたがどのオフィスで同僚とチャットしているかを知るだけで済みます（犬の頭）。

ニューラル推論技術を見てみましょう。

実際、ここでの推論は単純なパターン認識を指すのではなく、AI に「論理的推論」を学習させることに近いもので、これは概念的には Yoshua Bengio 氏が先に述べたシステム 2 (論理分析システム) に似ています。

では、ニューラル推論とチップの関係はどのようなもので、どのような方向に応用できるのでしょうか。また、Qualcomm はどのような進歩を遂げたのでしょうか。

ホウ博士によると、ニューラル推論は、記号推論とニューラルネットワークの利点を組み合わせたアイデアであり、モデルに並列性と直列性の両方を持たせることができます。このアイデアは、コンピューティングハードウェアにも有益です。クアルコムは、自己回帰言語モデルを使用して、すでにいくつかの先駆的な成果を上げています。

最後に、量子AI技術について見てみましょう。

クアルコムは現在、2つの主要な研究分野に取り組んでいます。1つはAIアクセラレーションに基づく量子コンピュータの構築であり、もう1つは量子コンピュータ上でAIをより高速に実行するための新しい方法です。

その中で、量子コンピューティングはAIアクセラレーションに基づいて構築されており、主な研究方向はグループ等変畳み込みニューラルネットワークです。

研究者らは、グループ等変畳み込みニューラルネットワークを導入することで、従来のデコーダーよりも効率的でパフォーマンスに優れた新しいデコード方法を提案しました。

QualcommがICML 2021で発表した新たな研究では、量子場理論に基づいて光量子コンピューティングでニューラルネットワークを実行するための新しいアイデアも提案されました。

将来、量子コンピューティングが実際に AI の実行に使用できるようになると、大規模モデルの高速計算はもはや夢ではなくなります。

そこで疑問なのは、クアルコムが行っている基礎研究を実装できるかどうかです。

使用できるようになるまでどのくらい時間がかかりますか?

テクノロジーの究極の意味はその応用にあります。

実際、クアルコムの AI 研究は最先端のテクノロジーに重点を置いていますが、それらのテクノロジーが実際にどのように実装されるかにも重点を置いています。

たとえば、AI分野がまだ画像処理に重点を置いていた初期の頃、QualcommはすでにビデオAI技術の実装を計画しており、それに応じた先駆的な成果を数多く生み出していました。

Qualcomm は、モバイル デバイスでビデオの 4K 100+FPS の超解像度を実現した最初の企業です。

では、このプロセスにおいて、Qualcomm はどのようにして AI 論文をチップ アプリケーションに実装することを実現したのでしょうか?

ここで、Qualcomm の3 つの主要な AI 研究レイアウトに戻ります。

• 量子 AI、強化学習、グループ等変畳み込みニューラル ネットワークなどを含む基礎研究は、遠い将来に焦点を当てており、通常、より基礎的なものです。
• 最適なエネルギー効率、パフォーマンス、レイテンシを実現するための、ハードウェアとソフトウェアの共同設計、AI モデル効率ツールキット、モデル量子化、圧縮、ニューラル アーキテクチャ検索などのプラットフォーム研究。
• 応用研究とは、ビデオ認識と予測、指紋マッピング、グラフィックスディープラーニング、視覚品質の向上など、特定のユースケースで AI 基礎研究とプラットフォーム研究の結果を使用することを指します。

一方、クアルコムはプラットフォーム研究技術を活用して応用研究の実施を推進してきました。

モデルの量子化を例に挙げてみましょう。

これは、クアルコムAIがAIモデルの「スリム化」を目指して近年研究している中核技術の一つです。

実際のアプリケーションシナリオでは、電力、計算能力、メモリ、放熱能力の制限により、携帯電話で使用される AI モデルは PC のモデルとは大きく異なります。

PC では、GPU は数百ワットの電力を簡単に消費する可能性があり、AI モデルの計算では 16 ビットまたは 32 ビットの浮動小数点数(FP16、FP32)が使用されることがあります。しかし、携帯電話の SoC は数ワットの電力しかなく、大規模な AI モデルを保存することはできません。

このとき、モデルの精度があまり失われないようにしながら、FP32 モデルを 8 ビット整数(INT8)または 4 ビット整数(INT4)に縮小する必要があります。

AIカットアウトモデルを例にとると、通常、コンピュータプロセッサの計算能力を使用して、非常に正確なAIカットアウトを実現できます。ただし、比較すると、携帯電話を使用してAIカットアウトの「同様の効果」を実現したい場合は、モデル量子化方法を使用する必要があります。

モデル量子化の急速な展開に基づいて、Qualcomm が 2020 年に AI モデル効率ツールキット(AIMET)をオープンソース化したことは注目に値します。

これには、同年および前年の ICML および ICCV に含まれていた技術的方法が含まれます。

定量化の結果の 1 つは、より多くのアプリケーション方向の AI モデルが「圧縮」および最適化され、加速されたペースでチップに展開されることです。

例えば、ビデオセマンティックセグメンテーションでは、FHD解像度のリアルタイムストリートビューがモバイル端末で初めて実現されました。また、ニューラルビデオ圧縮では、リアルタイムの高解像度デコードがモバイル端末で初めて実現されました...

これらの業界で初めて実装された結果からは、最先端の学術的ニーズとアプリケーションのニーズを組み合わせるクアルコムの AI 研究の配慮を直感的に感じることができます。

侯吉雷博士はインタビューで、クアルコムのAI技術が最初の発見からオープンソースまたは商用エコシステムの形成に至るまでにはわずか2～3年しかかからないと語った。

一方、アプリケーションとプラットフォームの需要は、基礎研究技術の進歩を促進し、より多くの学際的な分野を生み出すでしょう。

たとえば、フェデレーテッド ラーニングやイメージのプリカーネル最適化は、基礎研究とプラットフォーム研究の交差点から生まれた分野です。また、オーディオとビデオの圧縮、無線フィールドと RF 認識のための AI などは、基礎研究と応用研究の組み合わせの具体化です。

つまり、クアルコムの基盤、プラットフォーム、アプリケーションの3つの側面の研究は、エッジAIをサポートするAI技術の実装に必要なアルゴリズムモデル、データ、ソフトウェアとハ​​ードウェア、アプリケーションシナリオを完全に網羅しており、フルスタックAI研究の道を歩み、初めてモバイル端末で概念実証を行っています。

このように、クアルコムは「応用・実装できるAI」を研究することで、技術実装のプロセスを迅速に進めていきたいと考えています。

ホウ博士は、実際にはクアルコム自身もプラットフォームとアプリケーションにさらに投資する予定であり、さらに製品チームは基礎研究開発プロセスに深く関与し、技術者がアプリケーションの要件をよりよく理解できるように支援すると述べた。 AI の研究から実装までのプロセスは多くの場合非常に複雑であり、より現実的な問題 (ロングテール シナリオなど) を考慮する必要があります。

クアルコムの AI 研究の目的は、技術革新だけでなく、実際の応用シナリオにおける革新でもあります。

現在、クアルコムは数多くの AI 先駆的研究成果を達成しています。

これは、先駆的な技術に加えて、Qualcomm の AI 研究がこれらの結果を端末上でうまく実行することにも注力していることを示しています。

例えば、先日発売されたSnapdragon X70も、このようなプロセスを経て誕生しました。 Snapdragon X70は、AIプロセッサを導入した世界初の5GモデムおよびRFシステムであり、Snapdragonの毎年恒例の8シリーズのフラッグシッププラットフォームに統合される予定です。

次世代の 5G 携帯電話の信号、画像、音声、ビデオ処理技術はさらに強力になるのでしょうか?

携帯電話に適用されることを最も期待しているトップ AI テクノロジーは何ですか?