この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

アリババ初のチップが誕生しました！

先ほど、雲旗カンファレンスで、アリババグループCTO兼DAMOアカデミー会長の張建鋒氏が、アリババ初のAIチップであるHanguang 800を観客に披露しました。

アリババは1年前にこのチップについて大胆な声明を出しましたが、1年後に発表されるとは誰も予想していませんでした。テープアウトされただけでなく、アリババクラウドで正式にリリースされました。

これは、アリババ平頭閣設立以来初のハードウェア製品であり、アリババの20年の開発の歴史の中で独自に開発され、量産された最初のチップでもあります。

チップ業界の変化の時代における重要な節目に、アリ・ハオフェンは実力で急速な躍進を遂げ、次の段階への主導権を握りました。その意義と価値はチップそのものをはるかに超えるかもしれません。

しかし、記者会見で張建鋒がもっと強調したかったのは畏敬の念だった。

同氏は「アリババは世界の半導体分野では新参者だ。玄鉄と漢光800は平頭閣の長い行進の第一歩だ。まだ道のりは長い」と語った。

Hanguang 800 はどんな感じですか?

ハン・グアンという名前は今でもフラットヘッド兄弟の伝統に従っており、魔法の剣から取られています。

「漢光」はもともと古代の三大剣の一つで、内包しているが露呈せず、光っているが眩しくなく、漢光チップの仕組みと同じように、目に見えないが強力な計算能力を持っています。

具体的には、推論に重点を置き、主に視覚的なシーンで使用されるクラウドベースの AI チップです。

性能面では、既存の AI チップの記録を破り、性能とエネルギー効率の面で世界第 1 位にランクされています。

チッププロセスは12nmで、トランジスタ数は170億個にも達します。

業界標準のResNet-50テストでは、Hanguang 800の推論性能は78,563 IPSに達し、業界最高のAIチップの4倍に相当します。

エネルギー効率比は500IPS/Wで、2位の3.3倍です。

データを横に比較すると、Hanguang 800 のパフォーマンスは NVIDIA の最新の T4 の 15 倍、最も広く使用されている NVIDIA P4 の 46 倍であり、昨年最初に設計されたときに自慢されていた「ブースト」を上回っています。

現在、Hanguang 800 は、アリババ内の複数のビジネス シナリオで大規模なアプリケーションの立ち上げをリードしています。

動画認識、分類、検索から都市脳まで、将来的には医療画像、自動運転などの分野にも応用できます。

会議では、張建鋒氏がこのチップの強力な性能を実演しました。

毎日 10 億枚の製品画像を追加するPailitao製品ライブラリでは、Hanguang 800 を使用することで認識効率が 12 倍向上し、従来の汎用 GPU を使用した場合の認識時間が 1 時間からわずか 5 分に短縮されます。

そして都市脳があります。杭州市街地の交通ビデオをシティブレインでリアルタイムに処理するには、従来型の GPU が 40 個必要で、遅延は 300 ミリ秒でした。Hanguang 800 を使用すると、必要な GPU は 4 個だけで済み、遅延は 150 ミリ秒に短縮されます。

アリババによると、Hanguang 800はまずアリババ社内の業務シーンで利用される。同時に、Hanguang 800のAIクラウドサービスも正式に開始され、Alibaba Cloudを通じてAIコンピューティングパワーを外部に提供するが、チップの形で直接外部に販売されることはない。

これまで、アリババの平頭閣は連勝し、過去2か月間に五賢SoCプラットフォームと玄鉄プロセッサIPをリリースし、「世界でチップを作りやすくする」とともに、企業がチップ設計の敷居を下げるのに貢献してきた。

現在、Hanguang 800は最初のハードウェアであり、最もハードコアな製品として、Alibaba Cloud AIクラウドサービスを通じて企業がいつでもどこでも高性能コンピューティングを享受できるようにするというPingtou Geの野望を今も引き継いでいます。

これはまた、設立以来 1 年間で、Alibaba Pingtou Ge がソフトウェア アーキテクチャ (プロセッサ IP、SoC プラットフォーム) からハードウェア テープアウトまでの全プロセスを完了したことを意味します。

これは、アリババのチップ製造における象徴的な「宿題提出」の瞬間です。

アリババのチップ製造の年

アリババのAIチップのレイアウトは2018年4月に初めて公開された。

9月後半の雲啓会議で、アリババは平頭閣の設立を発表し、当面は「厳しい言葉」を脇に置いて、NPUを構築している。アーキテクチャ設計の面では、そのパフォーマンス結果は業界最高のAIプロセッサの40倍のパワーになるだろう。

この言葉は皆に衝撃を与えた。

しかし、1年後の今、成績表の時期を迎え、Ali Pingtou Ge は確かにその期待に応えました。 Hanguang 800 の性能は P4 の 46 倍、最新世代の NVIDIA T4 の 15 倍にもなります。

プロセスは完全にスムーズというわけではありませんでしたが、過去1年間で、「漢光」チームはゼロから有意義な飛躍を達成しただけでなく、皆の期待を超えました。

プロセス全体を通じて、Hanguang 800 チームは、アーキテクチャの革新、ソフトウェア コンパイラ、フレームワーク、ツール チェーンなどのソフトウェアとハ​​ードウェアの設計で多くの作業を行い、その後、INT8 データ型に対して多くの最適化を行いました。

Hanguang 800チップの責任者であるJiao Yang氏は、このチップが自社開発のアーキテクチャを採用していることを明らかにした。ディープラーニングで使用される大量の重みパラメータとテンソルデータに対して、スパース圧縮と量子化処理をサポートしながら、独自に設計されたデータアクセスとパイプライン処理技術を使用して、I/O要件とデータ移動を大幅に削減します。

このチップは、畳み込み、行列乗算、ベクトル計算、さまざまな活性化関数も徹底的に最適化します。高効率のハードウェア リソース スケジューリングと完全に並列化されたデータ フロー処理により、AI コンピューティングのパフォーマンスとエネルギー効率を極限まで高めます。

さらに、DAMO Academy アルゴリズムも統合されています。 CNN とビジュアル アルゴリズムの計算およびストレージ密度が高度に最適化されており、大規模なネットワーク モデルを単一の NPU で計算できます。

さらに称賛に値するのは、Pingtou Ge チームが一連の課題を克服したことです。

たとえば、パフォーマンス、歩留まり、消費電力などのバランスをどのように取るかなどです。 Pingtou Ge は、ソフトウェアとハ​​ードウェアの両面からこれらの問題を十分に考慮し、チップ設計とテープアウトの全プロセスを最短時間で完了しました。フロントエンド設計は 7 か月で完了し、テープアウトはわずか 3 か月で成功しました。

伝統的なチップ製造の観点からすると、これはほぼ不可能な作業だと、Jiaoyang 氏は嘆いた。しかし最終的に、アリババの AI チップ チームは記録を樹立し、課題を完遂し、不可能を可能にしました。

これはもちろん「007」たちの昼夜を問わない努力によるものだが、風を利用するという一般的な傾向の役割も無視できない。

ことわざにあるように、時が来れば天地は共に働く。AI時代の専用チップと専用機能の需要とアリババのビジネスシーンの優位性は、無視できない核心的な理由です。

NPU: チップのiPhone時代

まず、AI時代においては、専用チップや専用機能への需要があります。

名前が示すように、NPU（ニューラル ネットワーク プロセッサ）は、ディープ ニューラル ネットワーク アルゴリズムを処理するために特別に設計されたチップです。ディープ ニューラル ネットワーク アルゴリズムの中核は、生物学的ニューラル ネットワークの構造特性を模倣することです。その最も基本的な機能は、脳のニューロン間の伝達モードを模倣し、入力情報を迅速に処理することです。

しかし、従来の汎用プロセッサは、ストレージとコンピューティング処理が分離されているフォン・ノイマン構造をベースとしており、ディープ・ニューラル・ネットワークを処理する場合、大量の読み取りおよび書き込み操作が必要となり、帯域幅によって制限され、効率が低くなります。

そのため、Hanguang 800 に代表されるニューラル ネットワーク チップは、ニューラル ネットワーク推論操作の特性に応じて、特定のハードウェア ニューロン、高速接続ストレージ構造、専用命令セットを設計し、メモリとコンピューティング ユニットの効率的な編成と管理を実現し、単一の命令で複数の操作を完了できるようにして、コンピューティング効率とメモリ アクセス効率を向上させます。

つまり、専用チップを専用目的に使用すると、効率が向上し、コストが削減され、それに応じたメリットも得られます。

一方、AI チップは要件が明確で、適用シナリオが対象となっているため、CPU や GPU を構築する場合に比べて敷居ははるかに低くなります。

その結果、業界全体が「iPhone の瞬間」を迎えようとしています。つまり、ソフトウェアがハードウェアを再定義し、シナリオの要件がチップを再定義するのです。

次に、プロセスをアプリケーションのビジネス シナリオと組み合わせ、継続的に検証、フィードバック、反復し、目標の効果を達成した後、最終的にテープアウトして物理的な実装を完了するのが最適です。

そのため、今日の状況では、AIチップ製造の新興企業に小さな盛り上がりが起こっただけでなく、インターネットの巨人も国境を越えて独自のAIチップを構築し始めています。

しかし、それを建てたいのか、建てる能力があるのか​​、そして最終的な結果がどうなるのか…というのは全くレベルが違い、完全なる総合力の勝負です。

これが、アリババのビジネスシナリオの優位性が平頭閣の最初のAIチップを加速させる理由であり、また、アリババがチップ競争の新時代に「運命」を握っている理由でもある。

1年でAIチップを生産するには？

実際、その高速性と驚くべき結果にもかかわらず、アリババの AI チップは完全に「ゼロからスタート」しているわけではない。

Pingtou Geは設立からわずか1年ですが、DAMO AcademyとAlibabaの主要事業はAIアルゴリズムとソフトウェアの分野で長年の経験を積んできました。

Hanguang 800チームは、Hanguang 800のチップソフトウェアとハ​​ードウェア技術スタックの再構築の秘密は、Alibaba DAMO Academyに基づくアルゴリズムと、Alibaba Groupのハードウェアインフラストラクチャの長年の技術蓄積にあると明らかにした。

AI チップの差別化された設計は主にハードウェア アーキテクチャとソフトウェア アルゴリズムに反映されるため、チップの価値を最大化するには、この 2 つを高度に適応させる必要があります。

アルゴリズムの面では、アリババDAMOアカデミーの機械知能研究所は過去2年間で音声知能、言語技術、機械視覚、意思決定知能などの分野を網羅した完全なアルゴリズムシステムを構築し、世界をリードする多くの成果を達成しました。

ハードウェアの面では、アリババはサーバー、FPGA、ストレージの分野で長年の経験を有しており、Pingtou Ge チームもアーキテクチャ、コンパイル技術などの分野で深い技術的蓄積を持っています。

これらの機能を基に、Pingtou Ge はアルゴリズムとハードウェア間のギャップを素早く突破しました。アルゴリズム機能に加えて、独自のチップ アーキテクチャを開発し、完全なソフトウェア スタックを設計しました。

さらに、このような設計コンセプトにより、効果は即座に現れます。たとえば、電力消費はAIチップ業界では一般的な問題ですが、Pingtou Geが独自に開発したアーキテクチャは、メモリへのアクセスを大幅に削減し、チップの電力消費を最低レベルにまで抑えながら、極めて高いパフォーマンスを確保できます。

さらに、新規参入者にも独自の利点があります。

航光800の開発チームを率いた嬌陽氏は、半導体大手がAIチップを開発すると既存の開発者エコシステムの負担を背負うことになるが、アリババ平頭閣チームにはただ一つの目標があり、それは最強のコンピューティングパワーを実現し、ハードウェアの能力をフルに発揮させて、より大きなエコシステムを構築することだと嘆いた。

アリババのビジネス シナリオの利点と組織の結束は、プロセス全体を通じて常に実証されています。

Pingtou Ge のアーキテクチャ設計の開始時に、ビジネス シナリオの同僚が需要と経験の観点から包括的なフィードバックを提供し、要件の明確化に直接役立ちました。

その後、アルゴリズムの強化と検証の反復フェーズでは、DAMO アカデミーとビジネス シナリオもテスト、フィードバック、反復の提出に精力的に協力し、テープアウト前の最終的な保証を共同で完了しました。

アリババはチップを製造し、平頭格半導体を設立したが、「Hanguang 800」をゼロから作り上げるには、1人または1チーム以上の人が関わった。

アリババのAIチップ製造の利点は何ですか？

「生きるか死ぬかでやる」という決意に加え、実際の資金の投入、そして世界中の優秀な人材の採用……。

平頭閣の主任科学者であり、アリババの上級研究員でもある袁尊氏は、その具体的な利点は「ABCDE」によるものだと考えている。

• A ：アルゴリズムです。アリババは独自の技術力とAIの強みを活かして、アルゴリズム分野で世界をリードする経験を積み重ねてきました。
• B ：ビッグデータは、その巨大なエコシステムとあらゆる側面をカバーするビジネスを備えており、データの質と量の両方で利点があります。
• C : コンピューティング。安全で安定したコンピューティング能力。Alibaba Cloud の市場リーダーシップと主導的地位は、その実績を物語っています。
• D ：ドメイン知識、専門分野の知識。アリババ自体は、単一の業界の企業ではなく、さまざまな包括的なアプリケーションシナリオを備えた数十の企業の集合体であり経済です。最新のテクノロジーと製品に対する最も自然なアプリケーション基盤を備えています。
• E ：エコシステム。伝統的なチップ半導体企業と比較すると、アリババのエコシステムは、広範囲にわたるカバレッジ、多様な能力、応用展望を備えており、これらはすべて同社の総合的な強みの現れです。

袁尊氏は、「ABCDE」を持つアリババは、Cだけを持つ他のチップ企業よりも、当然ながらAIチップで中心的な地位を獲得するのがより容易かつ迅速になると考えている。

さらに、この「ABCDE」は、一方ではコアの作成に役立ち、他方ではコアの使用にも役立ちます。

アリババAIチップビジネスモデル

アリババでは、豊富なシナリオ要件とビジネス量により、高性能 AI コンピューティング能力に対する需要が長い間存在していました。

電子商取引のシナリオでは、Pailitao などの新しいショッピング方法に関連する画像検索に AI チップが必要です。

Youku ビデオの復元と分析など、AI の実装を必要とするエンターテイメント シナリオもあります。

アリババが大規模に推進しているシティブレインもあり、さまざまな種類の車両の検出、追跡、特徴抽出、属性検出など、これもより強力なコンピューティングパワーを必要とします。

今後は、医療や自動運転などの重要な垂直分野において、ビジネスの展望が広く、大きな可能性を秘めています。

自社開発のチップを自社で使用することによるメリットはすでに大きくなっています。

さらに、Alibaba Cloud の地位と強みにより、Alibaba Cloud を通じて AI コンピューティング パワーがより多くの分野とより多くの企業に提供されるようになります。

したがって、Hanguang 800 チップがクラウド サービスのビジネス モデルを選択するのは合理的です。

一方、アリババは、平頭閣の設立の核となるコンセプトである、同社の最初のAIチップのビジネスモデルの背後にある一貫した包括性を強調する姿勢を強めている。

今年初めに発売された Wujian SoC プラットフォームと Xuantie プロセッサ IP はどちらも、企業がチップ設計のハードルを下げるのを支援するために、ライセンスを直接公開することを選択しました。

Hanguang 800 のアクセシビリティは、Alibaba Cloud AI クラウド サービスを通じて、企業がいつでもどこでも高性能コンピューティング サービスを享受できるという事実に反映されています。

フラットヘッドブラザーの次のステップ

杭州雲奇会議では、アリババチップの次のステップについても議論されました。

Hanguang 800 のリリースにより、Pingtou Ge はフルスタック チップ ファミリを構築しました。

• 基本ユニットプロセッサIP、C-Skyシリーズ、Xuantieシリーズは、AIoT端末チップにコスト効率の高いIPを提供します。
• ワンストップチップ設計プラットフォームであるWujian SoCプラットフォームは、CPU、GPU、NPUなどを統合し、チップ設計のハードルを下げます。
• AI チップ Hanguang 800 は、AI クラウド サービスを通じて AI シナリオに高性能なコンピューティング パワーを提供します。

これら 3 つの製品シリーズにより、Pingtou Ge のエンドツーエンドのクラウド統合チップ エコシステムが初めて完成しました。

次に、Pingtou Ge の製品形態は、クラウドベースの AI トレーニング チップ、デバイス上の推論チップ、Alibaba Cloud Shenlong サーバー用の SoC 専用チップに重点を置き、より多くのシナリオのコンピューティング能力要件を満たすようになります。

さらに、Pingtou Geチップはソフトウェアとハ​​ードウェアのクローズドループを初めて実現し、アリババのチップ、クラウド、AIの3大事業間の相乗効果も形になり始めています。

時代の流れから言うと、この3つは本来三位一体です。

AIアルゴリズムは徐々にチップに統合されつつあります。統合アルゴリズムを搭載した専用チップはクラウドサービスにより強力なパフォーマンスを提供でき、クラウドコンピューティング自体がAIアプリケーションの大規模実装を加速させています。

過去 10 年間、アリババは AI とクラウド コンピューティングの推進と成果の実証に注力してきました。

現在、平頭閣はチップリンクを完成させ、アリババはコンピューティング分野で鉄の三角形を形成しています。

しかし、中国のテクノロジーおよびインターネットの巨人たちは当然ながら、より野心的な壮大な青写真、つまり産業エコロジーと開発者エコロジーを描いています。

以前、Xuantie 910がリリースされたとき、アリババはPingtou Geの目標はAIoT時代のインフラプラットフォームを構築することであり、Alibaba B2B、Taobao、AlipayからAlibaba Cloud、Cainiaoに受け継がれたアリババのやり方を継承することであると明確に説明しました。

今回の Yunqi カンファレンスでは、人工知能のユニコーン企業である Yuntian Lifei や、老舗チップメーカーの ActionCore Technology、大手再構成可能コンピューティングチップ企業 Qingwei Intelligence など、RISC-V ベースの Xuantie プロセッサと Wujian SoC プラットフォームの開発者事例が展示されます。

もちろん、AIチップはソフトウェアとハ​​ードウェアの統合の完全な再構築であるため、アリババはソフトウェアスタックとモデルフレームワークの面で決して手をこまねいているわけではありません。

最も明白なシグナルは、Caffeの父であるJia Yangqingの重鎮としての登場です。

もう一つ：ハン・グアン

最後に、アリババ初の AI チップの名前には、依然として深い意味合いが込められています。

「漢光」の名は「列子・唐文」に由来し、古代の名刀であり、商王の三剣の第一の剣である。

「それは見えず、触れることもできず、終わりがなく、物事を通り抜けますが、人々はそれに気づきません。」

この剣は、光や影、風のようにかすかに光る。その速さは目に見えないほど。形がなく、どこにでも存在し、無敵である。

Pingtou Ge チームは、これは Hanguang 800 チームによる内部投票の結果であると説明しました。

このNPUの性能を伝えるだけでなく、Pingtou Geの最初のハードウェアがチップ分野に参入するという心構えも示したい。IntelやNVIDIAなどの巨人たちの前で、同社はまだ「若者」としてチップ製造装置の製造に畏敬の念を抱いているのだ。

しかし、Hanguang 800の発売は、アリババとPingtou Geにとって依然として重要な歴史的一歩です。

アリババはちょうど創立20周年を迎え、この20年間で「世界中のどこでもビジネスを簡単にできるようにする」という使命を達成しました。

これからの20年で、「世界中でチップを簡単に製造できるようにする」という大胆な夢を実現できるでしょうか？

全く分かりません。

今わかっているのは、漢広が建国したばかりで、彼の剣の一閃で14の州が冷え込み、数千マイルに及ぶ長征の第一歩が踏み出されたということだけです。