鵬城クラウドブレインは鵬城シリーズの大型モデルの基礎研究をサポート

[[401368]]

専門家の皆さん、ゲストの皆さん、こんにちは。今日は主に、Pengcheng Big Model と自然言語処理に関連するエンパワーメントについてお話します。

鵬城実験室は、中国の科学技術が長期的に国全体の発展を安定的に支えることができるようにするために国が配備した戦略的な科学技術チームです。主にブロードバンド通信と高性能クラウドコンピューティングサービスを含む新しいネットワークに焦点を当てています。本日お話しするのは、高性能クラウドコンピューティングサービスの一部であるAscendの基本ソフトウェアとハ​​ードウェアに基づいて行われた作業です。この戦略は主にPengcheng Cloud Brainを通じて実行されます。

なぜこれを行う必要があるのでしょうか。その理由は実のところ簡単に理解できます。現在、人工知能があり、データは非常に急速に増加しており、コンピューティング パワーは要件を満たせず、アプリケーションは非常に緊急です。これらすべてのものをどのように接続できますか。サポートとして、大規模なデータを処理し、優れたアルゴリズムを備えた非常に強力なコンピューティング パワー プラットフォームが必要です。このコンピューティング パワー プラットフォームで、必要なソリューションを提供できます。したがって、このような大規模な施設を持つことは非常に重要です。この施設をクラウド ブレインと呼んでいます。

鵬城クラウドブレインIIの建設中、私たちは本当に「深センスピード」の神話を実現しました。なぜでしょうか？我が国の科学研究システムに精通している人は、例えば大型装置や大型機械を作ろうとすると、最初から実証、計画の報告、承認、そして科学研究、そして建設開始まで、このサイクルは早くても数年、遅くても10年以上かかることがあることを知っています。鵬城クラウドブレインII計画の提出から機械の完成まで合計9ヶ月かかり、まさに「深センスピード」を反映しています。プロジェクト提案書は昨年（2020年）3月に作成され、雲南IIマシンは昨年10月15日に稼働しました。左側のピットは、コンピュータールームが建設される前のピットであることがわかります。元々は採石場のピットでした。右の写真は、コンピュータールームが建設された後の様子を示しています。このマシンは現在非常にビジーです。マシン時間の使用率は 99% です。基本的にアイドル状態ではありません。このマシンでトレーニングする必要がある大規模なモデルが多すぎるため、マシン時間の順番待ちの列ができています。

このマシンは1000Pに達するEレベルのAIコンピューティングパワーを持っています。いわゆるEレベルは10の18乗、俗に言うエクサスケールと呼ばれています。1億は10の8乗、エクサスケールは10の16乗であることはご存じの通りです。最後にゼロを2つ付けるとエクサスケールになります。AIコンピューティングパワーで言えば、現時点で最強のマシンだと言えます。もちろん、他の場所にはもう少し小さいコンピューティングパワーのマシンがあるかもしれません。現在、ファーウェイのシステムを使用して、100Pまたは300Pのマシンが6台か7台、7台か8台ほど構築されていますが、これはこのマシンのコンピューティングパワーの1/10または1/3程度です。このコンピューティング パワーを稼働させるには、ある程度の労力が必要です。これは、当社のマシンが Huawei の Atlas 900 AI クラスターをベースとしているためです。Atlas 900 AI クラスターには 128 個のコンピューティング ノードがあり、各ノードには 8 個の Ascend 910 プロセッサが搭載されています。4 つの Atlas 900 AI クラスターを統合されたインターフェイスとイメージで接続すると、完全に 1 つのネットワークと 1 台のマシンになります。このマシンを構築するために、4 つのクラスター上に完全にスイッチされた非常に高速なネットワークを構築しました。データの読み取りを高速化するために、各マシンのストレージを強化し、内部の基盤となるコンピューティング ソフトウェアの一部を最適化して、マシンを非常に高速にしました。どれくらい速いのでしょうか? 基本的に、このマシンは世界最速の IO 速度を備えています。どれくらい速いのでしょうか? 昨年 11 月にこのマシンがチャートに掲載されたとき、2 位の Intel マシンよりも 4 倍高速でした。人工知能のトレーニングや大規模なモデルのトレーニングを行う場合、大量のデータを読み込んで吐き出す必要があるため、IO 速度が非常に重要です。IO 速度が良くないと、IO によって多くのオーバーヘッドが消費されます。このマシンはIOとネットワークに関して特別な構成になっています。そのため、速度、つまり通信オーバーヘッドが比較的低く、モデルのトレーニング全体を通して効率的です。

このマシンは現在、数千億の容量を持つ少なくとも 2 つの大規模モデルをトレーニングしています。数日前、Huawei は Pangu ビッグモデルをリリースしました。今日は、2 つの自然言語処理事前トレーニング ビッグモデルのうちの 1 つである Pengcheng ビッグモデルについてお話ししたいと思います。ご存知のとおり、GPT3 は基本的に自然言語処理を実行するモデルであり、誰もが非常に期待しています。Microsoft の環境で GPT3 モデルをトレーニングするために、Microsoft は GPT3 モデルのトレーニングに 1,200 万ドルを費やしました。 Cloud Brain IIマシンが完成したので、2つのモデルをトレーニングしました。1つは、Pengcheng LaboratoryとMindSporeチームの共同トレーニングモデルです。このモデルはPengcheng.Panguと呼ばれ、モデルパラメータは2000億です。もう1つは、Huawei CloudとPengcheng Laboratoryが共同でトレーニングした大規模モデルです。このモデルはHuawei.Panguと呼ばれ、モデルパラメータは1100億です。これら 2 つのモデルの全体的な複雑さは数千億のパラメータに及び、中国語に特化した最大のモデルです。

彭城モデルのもう一つの特徴は、オープンソースであることです。社内の人たちは、たとえ2000億元をオープンソースにしても、それは私たちのマシンなしでは使えないと議論しました。それを実行したいのであれば、私たちのマシンで実行しなければなりません。アプリケーションをサポートするにはどうすればいいでしょうか。まずは数百億単位の大規模なモデルを開発し、その後、どのように使いたいのか、どこで計算するのかを明確に説明していただければ、必要に応じて数千億単位のモデルを開発することもできます。したがって、原則として、私たちはオープンソースをサポートします。

したがって、このオープンソースを使用すると、自然言語処理で多くのことが可能になります。中国語の質問応答システム、つまり質問応答システムを作りたい場合、自然言語を理解したい場合、理解者を作りたい場合、機械翻訳をしたい場合など、このシステムでそれができます。このモデルは、クラウド検索、インテリジェントな顧客サービス、医療ガイダンス、インタラクティブ教育、文学作品の作成、自動要約生成、さらにはコード生成にも使用できます。現在、私たちは知的財産取引の連邦推奨システムに取り組むチームを持っています。このモデルを構築する前に、ソフトウェアと多くの専門家の知識を活用してシステムを作成しました。Pengchengモデルを使用した後、システムのパフォーマンスは12.2％向上しました。つまり、Pengchengモデルのメリットは明らかです。また、このモデルを利用して「言語の壁」を突破し、「一帯一路」という国家戦略をサポートしたいと考えています。つまり、このモデルを使用すると、機械翻訳を簡単に実行でき、商業税関申告書などの文書を交換できるようになります。以前は、英語か他の言語を使うことに同意していましたが、今は関係ありません。ここでは中国語、あちらではアラビア語を使っても、このツールがすぐに翻訳してくれます。今すぐ携帯電話でログインして、このモデルを試すことができます。いくつか質問をして、答えられるかどうかを確認してください。

Pengcheng モデルはどのように「改良」されたのでしょうか? 4 つの基本要素があります。

最初の要素はAIの計算能力、つまりPengcheng Cloud Brain IIです。2番目の要素は高品質の中国語コーパスを持つことです。当社には中国語コーパスデータセットの整理を専門とするチームがあります。入手および購入できるすべてのデータをクリーンアップし、データを非常によく整理して、マシンに送信してトレーニングできるようにします。次に、非常に優れた完全自動並列アルゴリズムが必要です。このアルゴリズムは、Ascend、MindSporeチーム、およびPengcheng Laboratoryのエンジニア間のシームレスなコラボレーションであり、これらの完全並列テクノロジーを実現します。最後に、「産学研」の三者協力という新しいR＆D協力メカニズムを通じて、Huaweiの産業上の優位性、北京大学の学術上の優位性、およびPengcheng Laboratoryの研究上の優位性を組み合わせ、補完性と相乗効果を形成できます。

彭城クラウドブレイン全体が、国家のコンピューティングインフラを接続するコアノードとして機能することができます。先ほど1000Pマシンについてお話ししましたが、現在、全国にはAscendのソフトウェアとハ​​ードウェアをベースにした100Pまたは300Pマシンが多数あります。これらをリンクして連携させることができます。大きくて難しい問題は1000Pマシンで実行し、より小さなモデルやプライベートアプリケーションは100Pまたは300Pマシンで実行できます。このようにして、誰もが分業し、全国で人工知能を共有することができます。