中国はどのようにしてスーパーコンピューティング競争の新ラウンドに勝つことができるでしょうか?鍵となるのは、データ集約型スーパーコンピューティングへの移行だ

[[430969]]

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

スーパーコンピューターの国際ランキング競争は、今年と来年が正念場を迎えている。

各国が長年準備を進めてきた「E級スーパーコンピューター」（1秒間に100京回以上の浮動小数点演算能力）は、 2021～2022年の計画で導入される。

2016 年に世界第 1 位にランクされた中国のスーパーコンピューター「 Sunway TaihuLight 」という名前をまだ覚えているかもしれません。

わずか2年後、米国のサミット・スーパーコンピューターがピーク速度20ペタフロップスでサンウェイの12.5ペタフロップスを上回り、追いついた。

2年後、日本の富岳は最高速度50エクサフロップス（0.5E）/秒という新たな記録を樹立した。

△画像出典：YouTube@What Da Stat

富岳は依然としてトップの座にあるが、Eクラスの宇宙船に追い抜かれるのもそう遠くないだろう。

（E級マシンのEはExaの略で、P（ペタ）より一つ上のレベルです。）

米国は少なくとも3台のEクラス・スーパーコンピューターを準備しており、これに米国エネルギー省は18億ドル以上を投資している。

フロンティアは今年導入される予定で、ピーク速度は 1.5E になると予想されています。オーロラは2022 年に 1E の目標速度で導入される予定です。また、2023 年にはエル キャピタンが導入される予定です。エル キャピタンは当初 1.5E の計画でしたが、建設中に 2E に増加しました。

これはあくまでも米国政府が主導するプロジェクトであり、企業も含めればテスラが構築中のDojoスーパーコンピューターの目標速度も1Eとなる。

中国では、E クラスのスーパーコンピューティング プロジェクトが 3 つ進行中です。

天河3号、神威E級、曙光E級の試作機は2018年から2019年にかけて開発に成功し、現在、完成版の建造が本格的に行われている。

さらに、日本とロシアも独自のEクラスマシン計画を立ち上げており、欧州連合もスーパーコンピューターの構築と改修に80億ユーロを投資している。

主要国間のスーパーコンピューター競争では、誰が最初にEクラスマシンを所有できるかが次の重要なポイントとなる。国際スーパーコンピューターランキング「TOP500」は、毎年6月と11月の年2回発表される。この戦いの勝者が間もなく明らかになるかもしれない。

各国がコンピューティング能力の競争において努力を強化し続けているのは、いったい何のためなのでしょうか?

スーパーコンピューティングとデータが出会うとき

この質問に答えるには、2つの側面から見る必要があります。

一方では、最先端の技術の開発が必要です。

スーパーコンピュータが「スーパー」と呼ばれる理由は、その強力な計算能力によって不可能を可能にし、非実用的だったことを実用的にすることができるからです。

天気予報が子供の頃よりも今の方がはるかに正確になったと感じるなら、それは計算能力の向上によるものです。

かつては、計算能力が不十分だったため、気象現象を漠然としか把握できませんでした。当時はテレビで「一部地域に雨が降る」とよく聞いていましたが、今では携帯電話でいつでも正確な2時間先までの降雨雲マップを確認できます。

コンピューティング能力の発達により、天気予報の精度は過去の21.8%から現在では90%に向上しています。通常の状況では、天気予報の不正確さは取るに足らないと思われるかもしれませんが、近年、異常気象が頻繁に発生しており、台風や暴風雨の正確な予測は多くの命を救うことができます。

また、生命を救うことに関係しているのはバイオ医療の分野です。近年の計算能力の発達により、遺伝子配列の解析にかかる時間は13年から1日に、新薬の研究開発と特定にかかるサイクルは5,000日から100日に短縮されました。

ワクチン開発のスピードをウイルスの変異のスピードより速くするため、各国はスーパーコンピューターの力も動員した。

さらに、天体物理学、地震予測、石油探査、国防と軍事、新素材の発見などの分野でも強力なコンピューティングパワーのサポートが必要です。

一方、ニュースでよく耳にする「産業のデジタルトランスフォーメーション」とは、実はコンピューティングパワーが経済活動や人々の生活のあらゆる側面に浸透していることを意味します。

今年、BMWはNVIDIAと連携して生産プロセス全体をデジタル世界で再構築し、シミュレーションを通じて最適化し、生産効率を30％向上させました。

この技術は「デジタルツイン」と呼ばれ、現実世界で生成された過去の稼働データ、センサー収集データ、統計データなどをすべてデジタル世界に移し、現実世界のコピーを可能な限り復元することを意味します。

権威ある市場調査会社 IDC によれば、2022 年までに 75% の企業がテクノロジーとプロセス開発にインテリジェント オートメーションを組み込むことになります。 2024年までに、AIはあらゆるビジネスに不可欠な要素となるでしょう。

現実世界からデジタル世界に反映されるデータは爆発的に増加し、将来のスマート産業の稼働速度はデータ分析のスピードにかかっているとも言える。

業界のデジタル化はデータ構造の変化をもたらします。 IDC によると、2025 年までにデータの80% が非構造化されるとのことです。

非構造化データは理解しやすいものです。インターネット上に散在する記事、文書、画像、音声、動画などは、行と列で構成された2次元の表構造で表現されていない限り、すべて非構造化データとみなされます。

中国科学院の院士である陳国梁氏は、データがデジタル世界の新たな石油であるならば、抽出が最も難しいタイプの石油であるシェールオイルと同様に、非構造化データの処理はより困難であると考えている。

大量の非構造化データを処理するには、大量データ向けの高性能データ分析 (HPDA)と呼ばれる新しいテクノロジが必要です。

簡単に言えば、HPDA を実現するには、スーパーコンピューティング、AI アルゴリズム、ビッグデータを組み合わせる必要があります。

このようなスーパーコンピュータは、データ集約型スーパーコンピュータとも呼ばれ、スーパーコンピュータの並列処理機能を使用して強力な AI アルゴリズムを実行し、大量のデータから価値を抽出することを意味します。

世界的な高性能コンピューティング市場調査機関である Hyperion Research によれば、データ集約型スーパーコンピュータの市場シェアは、今後、従来のスーパーコンピュータよりも数倍の速さで成長すると予想されています。

2024 年までに、高性能コンピューティング市場の 40% 以上がデータ集約型スーパーコンピューティングから生まれることになります。

これにより、将来どのようなシナリオでデータ集約型スーパーコンピューターが登場するのかについても人々の期待が高まります。

データ集約型スーパーコンピュータはどこで使用されていますか?

この問題は、実際には逆の観点から見る必要があります。スーパーコンピューティングをデータ集約型の方向へ向かわせているのは、アプリケーション シナリオのコンピューティング能力要件の変化です。

スーパーコンピュータの計画、構築、運用開始には数年かかるため、最初から将来の用途を念頭に置いて設計する必要があります。

例えば、バイオメディカルの分野では、今年起こった大きな出来事として、DeepMindがヒトのタンパク質構造の98.5%を予測した新しいタンパク質構造予測モデル「AlphaFold2 」をオープンソース化したことが挙げられます。

これに先立ち、科学者の数十年にわたる努力は、ヒトのタンパク質配列のアミノ酸残基のわずか 17% しかカバーしていませんでした。

遺伝子配列の点では、最初のヒトゲノムプロジェクトは30億ドルの費用がかかり、2003年に完了するまでに13年かかりました。

現在、個人消費者向けの全ゲノム配列解析サービスはわずか数時間で完了し、価格も100 ドルまで下がっています。

これは、2007 年にわずか 800 万米ドルであった世界の遺伝子配列市場が、2021 年には350 億米ドルに達すると予想されることを意味します。

これら2つの方向の進歩は、新薬開発を加速するための基盤を提供しました。さらなる開発には、タンパク質構造データと遺伝子マップデータを、AI分析された文献や臨床アーカイブなどの非構造化データと組み合わせて、化合物をスクリーニングし、薬物ターゲットを発見することが必要になります。

真に新薬開発サイクルを短縮し、医薬品開発コストを削減するためには、高精度な科学計算力と、高精度は必要ないが膨大なデータ量を持つAI推論・訓練計算力を組み合わせることが必要です。

もう一つの例は脳科学の分野です。神経系の研究は医学的な重要性に加えて、脳の認知原理の探究でもあり、脳のような人工知能技術や関連デバイスの開発に影響を与えます。

脳科学研究が従来のスーパーコンピューティング システムにもたらす最も直接的な課題は、データの規模が膨大であることです。

人間の脳には約 1,000 億個のニューロンがあります。ニューロン間のマッピングをすべてデータとして保存するには、必要な容量がEB レベル(1 EB は 100 万 TB に相当) に達する必要があります。

これほど大量のデータに対する検索応答時間は100時間にも及ぶ。脳科学が飛躍的な進歩を遂げるには、将来のスーパーコンピュータもデータストレージアーキテクチャにおいて飛躍的な進歩を遂げる必要があるだろう。

現在注目されている自動運転業界でも、EB レベルのデータを処理する必要があります。

米国のランド研究所の調査によると、自動運転アルゴリズムが人間の運転手のレベルに達するには、アルゴリズムを完成させるために少なくとも177億キロメートルの運転データが必要だという。

自動運転試験車両100台を配備し、24時間ノンストップで平均時速40キロメートルで走行試験を行った場合、目標走行距離を達成するには500年以上かかることになる。

言うまでもなく、人間のレベルに到達するにはまだまだ遠い。最も認知されているSAEの自動運転分類基準によれば、L3レベルに到達するには2,000万キロメートルの路上テストが必要であり、対応するデータ量は1～2EBに達する。

自動運転業界におけるもう 1 つの困難は、リンクごとに異なるデータ プロトコルが必要になることです。

データは S3/NFS 形式でインポートする必要があり、データの前処理には HDFS 形式が必要で、AI トレーニングには NFS 形式が必要であり、後でシミュレーションとモデルの検証が行われます。

その結果、データ形式の変換やデータのコピーにかかる時間は、処理および分析時間の 2 倍になり、将来のデータ集約型スーパーコンピュータでは、データ プロトコルの相互運用性の問題も解決する必要があります。 '

微視的な分子化合物や神経細胞から中視的な車両や道路、さらには視野を広げて巨視的な地球や宇宙を研究するには、データ集約型のスーパーコンピュータも必要です。

エネルギー探査、天気予報、衛星リモートセンシング、天文観測などのデータ保存規模も数十から数百PBに及びます。それぞれの特性に応じて、スーパーコンピューターの伝送速度、AIインターフェースの必要性、データ管理などの要件も異なります。

できるだけ多くのアプリケーション シナリオに適応できるデータ集約型スーパーコンピュータを構築する方法が重要な課題となっています。

データ集約型スーパーコンピューターを構築するにはどうすればよいでしょうか?

実際、スーパーコンピューティングは、遺伝子配列解析、自動運転、脳科学などの分野で大きな可能性を示しています。

すべての主要国は、この新しい領域を最初に開拓したいと考えており、それがスーパーコンピューティングにおける現在のますます熾烈な競争につながっています。

このような状況に直面して、私たちはどのようにチャンスをつかむことができるでしょうか?

中国コンピュータ学会の高性能コンピューティング専門委員会、国内の大学やスーパーコンピューティングセンター、そしてファーウェイが共同で執筆した「データ集約型スーパーコンピューティング技術に関する白書」では、いくつかの実用的な提案が示されています。

「白書」は、コンピューティング能力におけるこの「軍拡競争」に勝ちたいのであれば、スーパーコンピューティングのアーキテクチャ、ネットワーク伝送、エネルギー消費などの側面から始めるべきだと考えています。

異種融合に基づく新しいHPDAアーキテクチャ

まず第一に、スーパーコンピューティングが考慮する必要がある中心的な問題は、プロセッサ チップから始まる計算能力の源です。

今日のスーパーコンピューティング センターでは、CPU、GPU、FPGA などのハードウェアを組み合わせて、さまざまなコンピューティング ユニットがさまざまなコンピューティング タスクを担当できるようにすることで、コンピューティング速度と処理能力が向上しています。

しかし、これによって問題も発生します。つまり、リソース、データ、アプリケーションが分離される現象が発生し、重複した構築やアイドル状態のリソースが発生し、エネルギー消費が増大します。

したがって、将来のスーパーコンピューティング センターでは、元の「分散戦闘」コンピューティング ユニットを統合する必要があります。

それぞれの強みを生かしてタスクを迅速に完了できると同時に、命令に従い、コンピューティング リソースを最大限に活用し、できるだけ多くの異なるタスクを完了することもできます。

これはホワイトペーパーに記載されている異種融合アーキテクチャです。

具体的には、ハードウェアにおける統一されたリソース管理と統一されたデータストレージ、ソフトウェアにおける統一されたリソーススケジューリングという 3 つのレベルでの統一を実現する必要があります。

ストレージとコンピューティングを分離した統合データストレージベースを構築

データ集約型スーパーコンピュータはデータ中心であるため、コンピューティングユニットに加えて、ストレージシステムもスーパーコンピュータの動作速度に大きな影響を与えます。

HPDA は HPC、ビッグデータ、AI を統合しており、その計算方法は従来のスーパーコンピュータとは異なります。

新素材の発見を例にとると、従来のスーパーコンピュータは HPC シミュレーション計算を通じて新素材を発見しますが、HPDA は AI モデルのトレーニングと推論を含む機械学習を使用してこれを実現します。

両者の最大の違いは、AI コンピューティングはデータに大きく依存していることです。

特定の作業プロセス中、ストレージ システムからのデータの読み取りまたは書き込みを待機するために多くの計算時間が消費されます。

従来のスーパーコンピュータのストレージシステムを使用すると、多くの高価なコンピューティングノードがアイドル状態になり、リソースの使用率が不十分になります。

したがって、ストレージ システムとコンピューティング システムを再計画する必要があります。

ホワイトペーパーでは、ストレージとコンピューティングの分離という概念を提案しています。

つまり、すべてのコンピューティング ノードがストレージを共有し、さまざまなデータ (ドキュメント、表、画像など) が相互に通信およびアクセスできるようになります。

このようにして、スーパーコンピュータがさまざまなタスクを実行するときに、コンピューティング ノードはこの大規模なストレージ ベースから必要なデータを見つけることができます。

これに基づいて、必要に応じてデータが自由に流れるようにし、ホット データ、ウォーム データ、コールド データをインテリジェントに分類する必要があります。

つまり、価値の高いファイルは高可用性、高パフォーマンスのストレージ デバイスに配置され、価値の低いファイルはパフォーマンスと可用性の仕様が低い低コストのデバイスに配置されます。

もちろん、適切なストレージとコンピューティングの比率も達成する必要があります。

私の国におけるスーパーコンピューティング センターの構築では、常に計​​算能力に重点が置かれ、ストレージが軽視されるという問題がありました。

私の国では、ストレージ容量（ストレージ容量 PB）とコンピューティング能力（コンピューティング能力 PFLOSPS）の比率は 1:2 であり、対応する投資比率は 1:3 です。米国はこれら 2 つのデータで 1:1 に達しました。

スーパーコンピューティング センターを構築する現在のモデルに従い続けると、数年後にはストレージ不足の危機に直面することは避けられません。そのため、ストレージ計画にも重点を置きます。

全光マルチネットワーク統合高速インターネットの構築を推進

処理されるデータが増え、その種類も豊富になるにつれて、高帯域幅、高 IOPS、低遅延の伝送が確実に保証される必要があります。

同時に、サイクル全体を通じてデータのセキュリティにも注意を払う必要があります。

実際、スーパーコンピューティング センターの高速計算と推論を実行する能力も、デバイス間の高速相互接続と切り離せません。

より良い結果を達成するには、構成材料と伝送技術という 2 つの側面から始める必要があります。

材料面では、フォトニック集積製品はサイズ、消費電力、コスト、信頼性の面で明らかな利点があり、今後の光デバイスの主流の開発方向です。

そのため、「銅線に代わる光ファイバー」戦略を積極的に推進し、フォトニック技術を活用して高速相互接続ネットワークを構築する必要があります。

技術的には、スーパーコンピューティングセンター内の複数のネットワークを統合する必要があります。

スーパーコンピューティング センターには、コンピューティング ネットワーク、データ ネットワーク、ストレージ ネットワーク、監視ネットワークなど、複数のネットワークが存在することが多く、構築、運用、保守、電力消費に高いコストがかかります。

したがって、それらをどのように統合してコストを削減するかは、将来のデータ集約型スーパーコンピューティング センターが検討する必要がある問題です。

低炭素、高効率、グリーン、省エネのエンジニアリング技術を活用する

最後に、スーパーコンピューティングセンターの運用における具体的な問題についても考慮する必要があります。

たとえば、エネルギー消費量。

チップ、システム、光学デバイス、その他のコンポーネントのパフォーマンスが向上し続けるにつれて、スーパーコンピューターのエネルギー消費に対する需要が増加しています。

たとえば、システムレベルでは、100P システムの現在のエネルギー消費量は約 20MW、単一キャビネットのエネルギー消費量は 100KW に達し、システムのエネルギー効率比は約数十 GFlops/W です。

省エネにおける革新的な新技術が生まれなければ、E レベル以上のシステムのこれらの指標は将来耐え難いものになるでしょう。

この点に関して、白書では、電源の使用効率を下げ、機器のエネルギー効率を向上させることを提案しています。

一方で、中央の PUE を削減することです。

PUE 値 (Power Usage Effectiveness) は、データセンターの電力効率を測定するための国際的に認められた指標です。

PUE 値が 1 に近いほど、データセンターは環境に優しいと言えます。

わが国の国家スーパーコンピューティング無錫センターの PUE 値は建設当初は約 1.3 でしたが、現在では平均 PUE 値は 1.22 に低下しています。

2年間で電力消費量が約700万kWh削減され、電気代が400万元以上節約されました。

一方、 IT機器のエネルギー効率を向上させることも必要です。

たとえば、SSD フラッシュ ドライブを使用するなどです。

最も一般的に使用されている高性能 SAS 機械式ハードディスクで構成されたストレージ システムの標準的な電力消費量は、約 10.6W/TB です。

SSD フラッシュ ドライブで構成されたストレージ システムの標準的な電力消費量はわずか約 5.3W/TB で、エネルギー消費量を約 50% 削減できます。

したがって、データ集約型のスーパーコンピューティング センターでは、スーパーコンピューティング センターのグリーン開発を大幅に促進するために、オールフラッシュ ストレージが 50% を占める必要があります。

環境エコロジーをサポートする使いやすい国内アプリケーションプラットフォームを構築

このようなハイエンドの機器、高度なシステム、強力な計算能力を考えると、スーパーコンピューティングは手の届かないものだと感じるかもしれません。

しかし実際には、スーパーコンピューティングの本質は、科学研究だけでなく日常生活においても、より困難な問題を解決することにあります。

過去5〜6年で、さまざまな企業でハイパフォーマンスコンピューティングとAIの応用が一般的になってきました。

これはソフトウェアコンテナ化技術のおかげです。

コンテナ化技術によってスーパーコンピューティングの動作環境が事前にカプセル化され、アプリケーションが基盤となるハードウェアから切り離されていれば、専門的なコンピュータを理解していない一般の企業ユーザーでも HPC を利用できます。

将来を見据えて、優れたスーパーコンピューティング エコシステムを構築するには、より多くの人が開発に参加できるようにすることも必要です。

業界の一般的な問題に対処するソリューションを積極的に開発し、ユーザーにシンプルでわかりやすい視覚的な操作インターフェースを提供する必要があります。

同時に、新しいアーキテクチャによってもたらされる開発上の困難を解決する必要があります。異種プログラミング アーキテクチャは、既存の従来の並行性モデルに基づいて、プログラム並列処理とデータ並列処理のための便利で高速なツールをユーザーに提供する必要があります。

さらに、インテリジェントな管理・運用プラットフォームを構築し、AIなどの技術を活用してIT設備をますますインテリジェント化していく必要があります。

上記は、白書で提案されたデータ集約型スーパーコンピューティング技術の構築基準に関するいくつかの提案です。

ホワイトペーパーの最後の部分では、我が国におけるデータ集約型スーパーコンピューティングの将来的な発展についての展望も示されています。

我が国は、できるだけ早く明確な発展目標と計画を策定し、関連する指導意見を発表し、データ集約型スーパーコンピューティングの評価基準をできるだけ早く策定し、産学研究協力を積極的に推進すべきである。

現在、わが国のスーパーコンピューターの発展は、正式に爆発的な成長期に入りました。今年の世界トップ500スーパーコンピューターのリストでは、中国のスーパーコンピューターセンターの配備は世界第1位です。

データ集約が重要なトレンドとなり、スーパーコンピューティング業界が新たな爆発的な成長を遂げる中、中国のスーパーコンピューティングはすでに独自の道を見つけているのだろうか？

ホワイトペーパーを入手する:

出典：https://e.huawei.com/cn/material/storage/1f2563c5282d44b3a8d26a97d14be65e