AIコンピューティングのローカライズのもう一つの可能​​性：CoCoPIEの探究と選択

[51CTO.comからのオリジナル記事]これは、少し前に設立され、シリーズAの資金調達を完了したばかりの人工知能のスタートアップ企業です。

創設チームには、ノースイースタン大学、ノースカロライナ州立大学、ウィリアム・アンド・メアリー大学のこの分野で著名な教授 3 名が含まれています。

エッジ AI の実装に重点を置いており、AI 専用のハードウェアを追加することなく、既存のプロセッサで AI アプリケーションをリアルタイムで処理できるようにすることを目指しています。

AI分野でまだ誰も通っていない道を模索しながら前進しているのが、CoCoPIEです。

かわいい名前を持つこの AI テクノロジー企業は最近、新しい代表として李暁鋒博士を迎えました。李暁鋒氏は、OPPOのチーフソフトウェアアーキテクト、Huaweiの技術担当副社長、Huamiの米国支社のゼネラルマネージャー兼技術担当副社長を務めており、技術の研究開発と管理において豊富な経験を持っています。端末機器のインテリジェント化の傾向について、彼はどのような意見を持っていますか? AIスタートアップは数多くある中で、なぜ彼はCoCoPIEの舵取りをすることにしたのでしょうか？ CoCoPIE の技術とアプリケーションの展望を踏まえて、彼は会社の現在と将来をどのように計画していますか?李小鋒氏はこれらの問題について記者団に独占インタビューを行った。

[[430021]]

課題：端末デバイス上でリアルタイムAIアプリケーションを実現する方法

5GやIoT技術の普及に伴い、端末機器への人工知能の応用は珍しくなくなり、顔認識、ビデオ監視、工業品質検査、遠隔メンテナンスなどのシナリオも一般の人々にとって馴染み深いものとなっている。しかし、端末機器の計算能力、消費電力、メモリなどの要因により、インテリジェント端末機器への道は依然として困難に満ちています。

李暁鋒氏は次のように指摘した。「現在のAIアルゴリズムの主要技術はディープラーニングに基づいており、一般的に言えば、モデルが大きければ大きいほど、精度が高くなる可能性が高い」しかし、モデルが大きくなるにつれて、必然的に計算能力に対する要件が高まり、現在の端末デバイスではそれを満たすことが困難になります。

現在、主流の端末ハードウェアに AI が実装されている方法は、デバイスがデータをクラウドに送信して計算と処理を行い、処理後にそのデータをデバイスに送り返すというものです。この方法は確かに計算能力の問題は解決しますが、サーバーと帯域幅のコストが高く、アプリケーションのエクスペリエンスが遅れることになります。そのため、AIコンピューティングのローカリゼーションをどのように実現するかが、技術革新の焦点となっています。

Li Xiaofeng氏は次のように紹介しました。「この問題に対して、業界では2つの一般的な解決策があります。1つはAI専用のチップまたはカスタマイズされたASICチップを開発することです。もう1つは、モデルを大幅に圧縮して計算能力の要件を減らすことです。」しかし現時点では、どちらの方法にも明らかな欠点があります。専用チップは確かに計算能力の問題を的確に解決できますが、コストが高く、研究開発サイクルが長く、汎用性が弱く、リスクも高いという問題があります。一方、モデル圧縮は精度の低下を犠牲にすることが多く、一時的には問題を解決できるかもしれませんが、最終的には精度と効率のバランスを取ることが困難です。

端末機器のインテリジェンス化を推進し普及させるためには、このジレンマを解決する必要があります。 CoCoPIE チームはこれに気づいたとき、チャンスが来たことを痛感しました。彼らは既存のソリューションに限定されず、第一原理から始めて、AI タスクのコンピューティング要件の本質を分析し、あまり踏まれていない道を選んで探求しました。

選択: CoCoPIEの代替アプローチ

既存のハードウェアでは AI タスクのパフォーマンスが低下するのはなぜですか?李暁鋒氏は主な理由を次のようにまとめた。「一方では、既存のAI計算には多くの冗長な計算があり、他方では、既存のオペレーティングエンジンはチップの潜在能力を十分に引き出すことができていない。」

簡単に言えば、専用チップは多数のベクトル計算ユニットを備え、大規模な並列計算のニーズを満たすことができるため、AI タスクに適しています。しかし実際には、現在の主流チップのほとんどにはベクトル演算ユニットも搭載されています。 CoCoPIE チームは、ディープラーニング モデルのローカライズされたコンピューティングのプロセスにおいて、CPU、GPU、DSP などの主流のハードウェアには、まだ開発されていない大きな可能性があると考えています。 AI専用チップと比較すると、これらの汎用チップは確かに機能が劣りますが、現在のAIタスクを実行するには基本的に十分です。

これらの汎用チップの潜在能力を最大限引き出すにはどうすればよいでしょうか?李暁鋒氏は、前提条件として、全体的な計算量を制御しながら、洗練された設計を通じてAIタスクを適切なベクトル計算に変換できる「優れたコンパイラ」が必要であると説明した。この理解に基づいて、CoCoPIE は人工知能モデルの圧縮コンパイル連携ソリューションを設計しました。これにより、これまで端末デバイス上で実行できなかったニューラル ネットワークを端末上で実行できるようになり、既存の端末デバイスのハードウェア条件下で効率的かつリアルタイムな端末側インテリジェンスを実現できます。さらに、このソフトウェア連携モデルは、さまざまな新世代 AI ハードウェアを効果的に加速することもできます。

Li Xiaofeng氏は、CoCoPIEの技術ルートにはエッジAIの分野で大きな成長の余地があると考えています。彼は CoCoPIE が設立されるずっと前から創設チームを知っており、初期の議論に参加し、その進捗状況を継続的に追跡していました。 Li Xiaofeng 氏は、CoCoPIE の発展の重要な段階で同社に参加することを選択しましたが、これは両者にとって絶好の機会でした。

Li Xiaofeng 氏は、CoCoPIE の技術力を高く評価しており、エッジ AI で大きな成功を収めることができると信じています。彼はこう言いました。「エッジ AI の潜在的市場は数兆ドルの価値があります。」このような発展の潮流に参加し、自らの努力を通じて人々の生活を変える機会を得られることは、祝福であり喜びです。

CoCoPIEにとって、Li Xiaofeng氏のこれまでの職務経験とチーム管理経験は、会社に大きな利益をもたらすでしょう。インテル、Huami、Huawei、OPPO のいずれにおいても、エッジデバイスをめぐる一連の仕事を通じて、エッジコンピューティングの重要性は絶えず拡大し、エッジのユーザー価値は絶えず高まっていることを深く認識しました。

李暁峰はインテル在籍中、インテルのモバイルプラットフォームにおけるAndroidシステムの性能、消費電力、流暢性を担当するチームを率い、業界初のAndroid評価スイートを開発しました。華為在籍中は、健康ブレスレット製品のソフトウェアとアルゴリズムの開発チームを率いました。華為技術副社長時代には、モバイルデバイス向けのインテリジェント知覚アルゴリズムの開発チームを率いました。OPPO在籍中は、知覚トリガーに基づく新しいアプリケーション技術を発明しました。これらの経験により、彼はエッジAIの技術開発と市場需要に対する深い理解と、インテリジェントエッジデバイスの開発動向と構築方法に関する深い洞察力を獲得し、CoCoPIEの舵取りに対する自信も深めています。

コア： 「共同設計」における第3の可能性

テクノロジー企業にとって、舵取りが剣の方向と心の方向を表すのであれば、コアテクノロジーは常に企業の基盤と基礎となります。業界では、現在の端末機器のリアルタイム推論を制限する主な要因はハードウェアであると考えられています。そのため、チップの競争がますます激しくなる中、CoCoPIE の代替アプローチは、新たな可能性と想像の余地を提供します。

CoCoPIE は、パフォーマンス、インテリジェンス、効率のための圧縮コンパイル共同設計の略で、高性能、高インテリジェンス、高効率の圧縮コンパイル共同設計手法を意味します。名前から、CoCoPIE の技術的な核心と利点が直感的にわかります。

Li Xiaofeng 氏はさらに次のように説明しています。「圧縮とコンパイルは、ディープラーニング モデルをハードウェアに適合させて効率的に実行するための 2 つの重要なステップです。」 CoCoPIE 技術の核心は、この 2 つの「共同設計」にあり、これが CoCoPIE 初の技術です。この技術の鍵は、圧縮を設計する際にコンパイラとハードウェアの好みを考慮して圧縮方法を選択し、コンパイラを設計する際に圧縮モデルの特性を利用して対応するコンパイル最適化方法を設計することです。

これを実現するには、モデルを圧縮する適切な方法を見つけることが重要です。モデル圧縮では、モデルの精度に影響を与えずにモデル パラメーター (重み) の数を減らし、モデルのトレーニングと推論の複雑さを軽減する必要があります。

これまで、重みプルーニングには、任意の重みに対する非構造化プルーニングと、フィルターまたはチャネルに対する構造化プルーニングという 2 つの主な方法がありました。非構造化プルーニングは、任意の重みを最適化し、精度を確保できますが、不規則なプルーニングのため、ハードウェアの最適化には適しておらず、並列コンピューティングには適さず、コンピューティングのエネルギー消費も増加します。構造化プルーニングは、すべてのチャネルとフィルターに対して均一なプルーニングを実行します。規則的なプルーニング方法であるため、ハードウェア アクセラレーションに役立ちますが、精度が低下します。

どちらにも長所と短所があります。CoCoPIE は、総合的に検討した結果、パターンベースの重み削減方法という 3 番目のソリューションを開発しました。

Li Xiaofeng氏は、この方法の基本的な考え方は、異なる動作環境とモデル特性に対して特定のパターンを見つけることであり、フィルターのプルーニングには異なるパターンを選択できると説明しました。この圧縮方法は本質的には「きめ細かな構造化プルーニング」であり、計算量を効果的に削減しながら精度を維持できます。同時に、コンパイラはフィルターを再配置し、このパターンに基づいてコードを生成することができるため、計算の並列性とメモリの最適化を最大限に高めることができます。これにより、圧縮とコンパイルが完璧に組み合わせられ、精度と高い効率の両方が実現されます。

圧縮とコンパイルの 2 つのステップに対応して、CoCoPIE は CoCo-Gen と CoCo-Tune という 2 つのコンポーネントを設計しました。 CoCo-Gen は、パターンベースのディープ ニューラル ネットワーク (DNN) プルーニングとパターンベースのコード生成を組み合わせることで、効率的な DNN 実行コードを生成します。CoCo-Tune は、ソフトウェア エンジニアリングにおける構成可能性の概念に基づいて、ネットワーク全体を多数のコンポーネント モジュールの組み合わせとして扱います。各コンポーネント モジュールは一連の CNN レイヤーで構成されます。 CoCo-Tune は、これらの再利用可能なトレーニング モジュールを事前にトレーニングし、その結果を後続のネットワークに使用することで、DNN モデルの圧縮とトレーニングのプロセスを大幅に短縮します。

CoCoPIE によってもたらされるパフォーマンスの向上は非常に顕著です。これまではエンド エンドの汎用チップでは実行できなかった多くのモデルを効率的に実行できるようになるだけでなく、その効率パフォーマンスも専用チップよりもはるかに優れています。対照実験では:

同じ VGG-16 ニューラル ネットワークを汎用チップと Google TPU-V2 と比較すると、CoCoPIE を使用した後、モバイル デバイス Samsung Galaxy S10 のエネルギー効率は TPU-V2 の約 18 倍になります。

同じ Samsung Galaxy S10 プラットフォームでは、CoCoPIE は動作認識の C3D タスクと S3D タスクの実行において、それぞれ Pytorch より 17 倍と 22 倍高速です。

さらに、消費電力テストの結果、TVM と比較して、CoCoPIE は実行時間を 9 倍以上短縮しながら、消費電力を 10% 未満に抑えることがわかりました。

製品: インテリジェントなユビキタス空間の拡大

人工知能のスタートアップ企業が発展を目指すには、継続的な技術の進歩に加えて、完全な製品およびサービスシステムを確立することも非常に重要です。李小鋒はすでにこれについて明確な考えを持っています。

同氏の意見では、同社の現在の開発の焦点は、拡張可能な高い技術的障壁を備えた製品システムを確立し、先進技術を大規模顧客のニーズに直接対応できる製品システムに真に変換することである。同時に、チームビルディング、製品戦略、ビジネス戦略など、企業発展の強固な中核クローズドループを構築し、協力エコシステムとの好循環を形成し、雪だるま式に転がり、継続的に蓄積され、成長を加速できるようにする必要があります。

革新的な技術による製品変革に関しては、李暁鋒氏は、インテリジェント技術のユビキタス性により重点を置いていると強調した。ここでの「遍在的」とは、単に普遍的または人気があるということではなく、どこにでもあることを意味します。

彼は、過去には、1つまたは複数のアプリケーションを実行できるチップが埋め込まれたデバイスがスマートデバイスと見なされていたと考えています。しかし実際には、ここでの「インテリジェンス」はクラウドとネットワークに依存しており、これらの外部条件が変化したり、障害が発生したりすると、予測できない損失が発生する可能性があります。さらに、多くの企業自体がプライバシー セキュリティと運用セキュリティの要件を抱えています。これらの制御できない要因により、エンド サイドでビジネスを展開することに不安を感じるようになります。この状況はエッジ AI の開発にも大きな制限を与えます。

したがって、スマートデバイスのインテリジェントデバイスへの進化を真に推進するためには、外部要因に制限されることなく、開発空間を拡大し、AIを真にユビキタス化し、エッジインテリジェンスを真にローカルで実現できるようにする必要があります。 CoCoPIE が現在行っているのは、このプロセスを加速することです。 CoCoPIE の技術的な本質は、AI タスクをチップ プラットフォーム上で効率的に実行できるようにすることです。つまり、AI タスクとハードウェア プラットフォームを接続することです。このリンクにより、エッジでのローカルリアルタイム AI へのパスが提供され、インテリジェント デバイスの想像力の空間が再形成されます。

Li Xiaofeng氏は、CoCoPIEの技術は現在、比較的多様な応用シナリオを持っていると紹介しました。具体的には、リアルタイムのビデオ強化の実現を支援するなどの AI アプリケーションの最適化された実行、カメラのアクティビティ検出などのスマートデバイスの AI エンパワーメント、チップ プラットフォームの AI ランタイム スタックの設計と統合などのチップ プラットフォームの統合設計の 3 つのカテゴリに分類できます。

これらのシナリオに基づいて、CoCoPIE はユーザーに 3 種類のサービスを提供できます。1 つ目は、完全なツール チェーンと SDK を提供することで顧客に力を与えること、2 つ目は、クラウド サイド SaaS を通じて大規模な自動 AI モデル最適化サービスを提供することです。3 つ目は、綿密な協力を通じてカスタマイズされたサービスを提供することです。

CoCoPIE の現在の顧客には、Tencent、Didi、米国運輸省、Cognizant などがあり、インターネットメーカー、モバイルデバイスメーカー、チッププラットフォームプロバイダーなど、複数の分野をカバーしています。

距離は遠くありません。すべてがインテリジェントにつながり、想像力は無限です

個人と企業の発展は時代と切り離せないものです。私たちはどんな時代に生きているのでしょうか？

5Gの開発が本格化し、長年の沈黙を経てモノのインターネットが脚光を浴びるようになりました。あらゆるモノの相互接続は、この時代のテクノロジーの夢になりつつあります。無数の端末機器は、この夢の中で明滅し昇る星のようであり、無視されるべきではありません。 CoCoPIE は状況を見て、この混雑したフィールドで喜んでゲームに参加しました。

李暁鋒氏は「機器は人間に役立ち、人間の能力の延長である」と述べた。

彼の見解では、エッジデバイスは人々がデジタル世界とやりとりするための媒体であり、エッジ機能の開発動向は人々が物理世界とデジタル世界の間を自由に行き来できるようにすることです。将来的には、より多くのエンドサイドデバイスが連携して、入場と退場のプロセスがよりスムーズで自然かつシームレスになるでしょう。

この目標を達成するには、2 つの要件を満たす必要があります。1 つは、エンド側が人々を理解し、その意図と環境を把握して、高品質のサービスを位置付け、デジタル世界へのゲートウェイとして機能すること、もう 1 つは、エンド側が人々に快適でリアルな体験を提供して、高品質のサービスを出力し、デジタル世界からの出口として機能することです。これら両方において、エンドサイドのデバイスはより「スマート」になり、人々のニーズを理解するだけでなく、ニーズを満たし、「インテリジェントなインタラクションとリアルな体験」を実現する必要があります。これがエッジサイド AI 開発の重要性であり、この目的のために CoCoPIE が作られました。これからの道のりは長く、より多くの仲間が旅に同行し、未来を見てくれることを期待しています。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]