Snapdragon 8の4倍のAIコンピューティングパワーハードテクノロジー：超解像度アップと信号強化ダウン、複数のアルゴリズムを同時に実行

2022年の携帯電話はこうなります。すべてのメッセージを自動的に整理し、QRコードをスキャンするためにロックを解除する必要はなく、持ち方に応じて信号を受信するアンテナを変更し、声を聞いて病気があるかどうかを判断することもできます。

異機種コンピューティング能力からアップグレード可能な GPU ドライバーまで、Qualcomm の携帯電話チップは常に業界を新たな方向に導いています。

11月30日、クアルコムは新世代のSnapdragon 8モバイルプラットフォーム（Snapdragon 8 Gen 1）をリリースし、今後のAndroidフラッグシップフォンへの期待が高まりました。最近リリースされた実行スコアから判断すると、このチップのピークGPUパフォーマンスは59.7％向上し、GFXBenchのスコアはiPhone 13 ProのA15よりも高くなっています。

これは最大のことではありません。新世代のSnapdragon 8は全面的にアップグレードされました。その第7世代AIエンジンは4倍のパフォーマンスを達成し、1レベル以上向上し、まったく新しい体験をもたらします。

Snapdragon Technology Summitでは、ブース内に『原神』を60フレーム安定でプレイできるエンジニアリングマシンが展示されていたほか、イベント全体に人工知能のコンセプトが貫かれ、あらゆるモバイル端末の連携作業の中核にSnapdragonが組み込まれていた。

複数のAIモデルを同時に実行

以前は、アプリでは通常、一度に 1 つまたは 2 つのニューラル ネットワークしか実行されませんでした。しかし、より良い体験を提供するために、私たちはアプリケーションにますます多くの機械学習モデルを追加しており、端末の機能が進化するにつれて、これらのニューラル ネットワークは年々複雑になっています。

クアルコムは、第7世代AIエンジンは低消費電力を維持しながらこれらの要求に対応できると述べている。

大手携帯電話チップメーカーの製品である Snapdragon の AI エンジンは、18 億人の人々をサポートしています。実現されている強力な機能には、写真を撮るときに機械学習アルゴリズムが自動的にカメラ設定を調整して、最高の画像効果を得るのを支援することなどがあります。 AI はユーザーの音声を認識して理解し、ユーザーの指示に基づいてタスクを完了することもできます。一部のブランドの携帯電話では、システム アプリケーションによって、人々の会話をリアルタイムでさまざまな言語に翻訳することもできます。

Snapdragonの「専用AI処理装置」Hexagonプロセッサは、CPUよりも30倍高速に感情判断を処理でき、携帯電話でTransformerアーキテクチャモデルなどのローカル処理を実行できます。

Qualcommは、Hugging Faceが自然言語処理モデルBERTを使用して、電話のすべてのドロップダウン通知の内容を処理および分析する方法を実演しました。AIは各メッセージのトーンと感情を分析し、緊急、重要、非緊急などの状況に応じて表示するため、上司からのメールを見逃すことがなくなります。メッセージが多すぎて見つからない場合は、音声コマンドを使用して特定の種類のメッセージを検索することもできます。

センサーハブモジュールでは、Snapdragon 8 は革新的な「常時オン」チップモジュールも追加しました。この極めて低消費電力の ISP は端末のカメラと連携して、カメラを 24 時間 365 日起動させ、いくつかの便利で安全な機能をもたらします。QR コードが検出されると、電話は識別用のアプリケーションを自動的に起動します。使用後に電話をテーブルに置くと、画面が自動的にロックされます。電話を持っているときに誰かが肩越しに覗き込むと、電話も自動的に画面をロックします。または、電話のメイン画面のコンテンツを他の人と共有したい場合は、ショートメッセージプロンプトバナーが自動的に非表示になります。

携帯電話を購入したときに多くの人が行うことの1つは、電力を節約するために、さまざまな画面オフディスプレイとウェイクアップ機能をオフにすることです。ただし、Snapdragon 8ではこれを行う必要はありません。新世代のセンサーモジュールのAIコンピューティング能力は75％向上し、エネルギー消費は50％削減されました。クアルコムはまた、新しいISPは作業中に写真やビデオを撮影せず、データはモジュールユニットから出ることはないため、ユーザーのプライバシーが確保されると約束した。

Qualcommは、第7世代AIエンジンをベースにしたカメラAIアプリケーションのデモを行いました。この携帯電話のカメラは、より優れたオートフォーカス、自動露出、自動ホワイトバランス調整をサポートし、ジェスチャー検出によりユーザーはボタンを押さずに写真を撮ることができ、AI ベースのビデオ背景ぼかしなどの機能も備えています。

背景ぼかし＋顔認識＋姿勢認識＋ジェスチャー、複数のニューラルネットワークの効果を携帯電話上でリアルタイムに同時に完了できるようになりました。

顔のディテールも重要です。 Qualcomm Spectra は、写真撮影の基礎となる従来のアルゴリズムを初めて完全に置き換え、AI が撮影タスクを完全に引き継ぐことを可能にします。顔の特徴を認識し、被写体の目が開いているかどうか、さらには笑っているかどうかも判断できます。新しい顔の特徴エンジンは 300 個の特徴ポイントを検出でき、眉毛、唇、顎のラインなど、より多くの顔の特徴についてトレーニングされています。

フォーカスや特殊効果に加え、AI エンジンとカメラ エンジンが連携して 1 秒あたり 32 億ピクセルを処理し、より強力なズーム機能を実現します。昨年のSnapdragon 888の「ナイトモード」では、約6フレームの写真を組み合わせて合成画像を作成します。 Snapdragon 8のカメラマルチフレームエンジンは、約30フレームを組み合わせて「5倍の夜間モード」を提供します。暗い場所ではより多くのピクセルが追跡されるため、カメラは手ぶれによるぼやけをインテリジェントに除去し、より鮮明な画像を得ることができます。同時に、人工知能は広角レンズによる画像の歪みも排除することができます。

次に登場したのは仮想現実技術で、クアルコムは AI がショッピング体験を変革できる新たな方向性を示しました。 ARテクノロジーにより、人々は自宅で仮想の家具を配置したり、スニーカーを仮想的に試着したりすることができ、よりパーソナライズされたショッピング体験を実現できます。これらのアプリケーションはすべて、Qualcomm AI エンジンを通じて最適化されています。

クアルコムは、Snapdragon 8モバイルプラットフォーム上で、モデムとRFシステムにAI技術を統合し、世界初のAIアンテナチューニング技術を導入しました。この技術は、端末を握っているときのユーザーの手の位置を検出し、信号を受信するアンテナを切り替え、より高速なデータ伝送、より優れたネットワークカバレッジ、より長いバッテリー寿命の実現を目指しています。

第7世代AIエンジンはパフォーマンスとエネルギー効率を2倍にします

これはどうやって行うのですか? AI モデルを実行するには強力な計算能力が必要であることはわかっています。 Qualcomm は、Snapdragon 8 モバイル プラットフォームの AI エンジンで、これまでで最大の AI コンピューティング能力の進歩を達成しました。

具体的には、第 7 世代 AI エンジンには、次世代 Adreno GPU、Hexagon プロセッサ、Kryo CPU、第 3 世代 Qualcomm センサー ハブ (Sensing Hub) で構成される複数の低電力 AI サブシステムが含まれており、それぞれ異なるコンピューティング ニーズに対応します。 SoC 全体の複数のコンピューティング ユニットにより、6TOPS の異種コンピューティング能力が実現します。

inceptionv3、mobilenet_v2、Resnet50、VDSRなど、広く使用されている一部のAIモデルでは、推論速度が前世代のAIエンジンよりも4倍高速になり、AIコンピューティングのエネルギー効率は前世代と比較して1.7倍向上します。

第 7 世代 AI エンジンがこのような桁違いの改善を達成できるのは、主に新世代 AI ソフトウェアのおかげです。Hexagon プロセッサのテンソル コンピューティング パフォーマンスが 2 倍になり、共有メモリが 2 倍になっただけでなく、AI ソフトウェア パフォーマンスも 2 倍になり、INT8 + INT16 の混合精度計算をサポートするようになりました。

メモリが増えるということは、チップがより大規模で深いニューラル ネットワークを実行できることを意味し、精度が上がるとアルゴリズムの推論結果がより正確になります。開発ツールの面では、新しいニューラル ネットワーク処理 SDK ではオペレーターのサポートが更新され、Qualcomm AI Engine Direct ではモバイル ディープラーニング フレームワーク TensorFlow Lite と Android NN API に直接アクセスできるようになったため、開発者は AI モデルをより迅速にモバイル デバイスに適用できるようになります。

携帯電話を使用してデスクトップ上のタスクを完了する

新しい AI テクノロジーが次々と登場する中、機械学習モデルを携帯電話に組み込むにはどうすればいいのでしょうか?これはエンジニアにとって非常に困難な作業であり、AI 技術を使用してこれを自動的に完了することは非常に有望な方向性です。 Qualcomm と Google は協力して、第 7 世代 Qualcomm AI エンジンに統合された Neural Architecture Search (NAS) を Snapdragon プラットフォームに導入しました。

AutoMLのアイデアと同様に、Qualcommが提供するNASツールNeual Processing SDKは、ハードウェア構成と作業要件（フレームレートや精度など）をパラメータ入力として取り込むことができ、AIアルゴリズムはエンジニアがディープラーニングモデルの最適な設計を迅速に実現するのに役立ちます。

AI は、初期のネットワーク検索と最適化に基づいて、最も基本的なレベルから開始し、モバイル ハードウェアに適合するモデルを構築できます。レイテンシ、ネットワーク規模、精度、電力消費などの目標を考慮できるため、モバイル フォンでのモデルの実行速度が向上し、開発者の作業時間が数か月から数週間に短縮されます。

Snapdragon は、Google Cloud Vertex AI NAS をサポートする世界初のモバイル プラットフォームです。これまで、クアルコムの最適なニューラルネットワークアーキテクチャの抽出に関する研究「DONNA」は、人工知能のトップ学術会議「ICCV 2021」に採択されている。 Qualcomm は、将来的に NAS 機能を活用してマルチ端末展開を支援し、AI モデルを携帯電話、ラップトップ、VR デバイス、自動車に迅速に展開できるようにしたいと考えています。

上記のテクノロジーとユースケースに加えて、Snapdragon 8 AI エンジンは他にどのようなブラックテクノロジーを実現できるのでしょうか?例えば、クアルコムはソンデ・ヘルスと共同で音声認識に基づく診断技術を開発しており、これにより携帯電話はユーザーの声を聞くだけでうつ病や喘息などの健康上の問題を抱えているかどうかを判断できるようになると述べた。

もちろん、ゲーム画面にも超解像技術が使われています。

Adreno Image Motion Engine は、履歴フレーム データと GPU に最適化されたモーション推定を活用することで、ほぼ同じ電力消費を維持しながら、一部のゲームを 2 倍のフレーム レートで実行できるようにします。

現在、世界中に 30 億人を超えるゲーマーがおり、モバイル ゲームは年間収益の 52% を占めています。そのうち、Snapdragon Elite Gamingをサポートするチップセットの出荷数は8億を超えています。Qualcommの新技術は多くのプレイヤーに恩恵をもたらすでしょう。 Qualcomm によれば、目標はモバイル ゲーム プレイヤーが PC レベルのゲーム体験を楽しめるようにすることです。

Qualcomm とさまざまな OEM およびテクノロジー企業は、今年だけで 200 を超える機械学習モデルを提供しました。将来的には、これまで想像もできなかった技術が携帯電話に登場してくるでしょう。

モバイル エクスペリエンスの新たな革命を始めるには、最先端のテクノロジーが必要です。強力なパフォーマンス、低消費電力、機能豊富な AI テクノロジーにより、Snapdragon 8 を搭載した来年の主力スマートフォンはどのような体験をもたらすのでしょうか。待って見てみましょう。