2019 年に人工知能がハイパフォーマンス コンピューティングに及ぼす 10 の影響

[[262566]]

今日では、人工知能を使用するワークロードが普及しつつあり、その一部は世界最速のコンピューターで実行され、高性能コンピューティング (HPC) を進化させています。組織が将来の成長を計画する際には、AI ワークロードのプログラミング、ソフトウェア要件、ハードウェア要件、トレーニングのニーズなどの問題に対処する必要があります。 2019 年も、業界の専門家と AI スペシャリストが革新的なソリューションを生み出し続けるでしょう。

2019 年に AI がハイパフォーマンス コンピューティングに最も大きな影響を与える 10 の方法は次のとおりです。

1. テンソル: AIコンピューティングの共通言語

ベクトル代数の応用により、ベクトル計算用に設計されたコンピュータが誕生しました。クレイが立ち上げた初期のスーパーコンピュータはベクトル スーパーコンピュータであり、アプリケーションをベクトルおよび行列代数の問題として表現し、ベクトル計算を高速に実行できるようにコンピュータの設計を強化しました。長年にわたり、この強化サイクルはハイパフォーマンス コンピューティング (HPC) を強力に定義してきました。テンソル代数は行列代数の一般化として受け入れられるため、革命というよりはスーパーコンピュータの数学的能力の自然な進化と言えます。行列演算をサポートするマシンであれば、テンソル演算を実行できます。今日の CPU のユーザーは、コンパイラを採用し、Python の採用を加速し、ライブラリと最適化フレームワークのサポートを強化し、ベクトルとテンソルの高性能サポートを獲得しており、これらすべてにより、ソフトウェア開発者は高性能環境でベクトルとテンソルを使用できるようになります。

Tensor テクノロジーは、高性能コンピューティング アプリケーション、ハードウェア、ソフトウェア、そして人々の心に深い影響を与えてきました。

2. 言語: 上級プログラミング

Fortran プログラムは、消費サイクルの点では高性能コンピューティングを支配しており、C および C++ プログラムは高性能コンピューティングの他のリソースをほぼ使い果たしています。アクセラレータ サイクルは通常、C インターフェイス、拡張機能、およびライブラリを通じてサポートされます。新しい言語でこれを破壊しようとする試みは失敗しました。既存の言語には、高性能コンピューティングを構成するアプリケーションに適したユーザー、コード、サポートがあるためです。

AI は新しいユーザーに新しい要求をもたらします。これにより、高性能コンピューティングに関連する言語が拡張され、Fortran コードを使用するほとんどの物理学者の活動は変わりませんが、MATLAB や Python を使用するデータ サイエンティストには、ニーズに合わせたソリューションが必要になります。

Python は、他の生産性向上言語やフレームワークとともに、ますます多くの高性能コンピューティング (HPC) サイクルを支配するようになると思われます。実際の数値計算プログラムは依然として C/C++/Fortran で記述されますが、AI プログラマーはそれを知らず、気にも留めません。

3. 考え方を変える: アプローチを再考する機会を活用してレガシーコードを置き換える

高性能コンピューティング (HPC) は伝統的なテクノロジーですが、人工知能は比較的新しいテクノロジーです。明らかに、AI が成熟するにつれて、サポートが必要となる独自の重要な遺産が生み出されることになります。現時点では、これら 2 つのテクノロジを組み合わせると、場合によっては遅れている可能性のあるレガシー コードの再実装に関する会話が促進されます。コードに AI 機能を追加するという言い訳になるかもしれませんが、現実には有益な努力と重大な時間の無駄になるでしょう。

4. 移植性とセキュリティ: 仮想化とコンテナ

あなたのマシン上で安全に実行できますか? これは、仮想化とコンテナが解決しようとしているセキュリティと移植性の問題です。もちろん、セキュリティは、適切に構築されたハードウェアとソフトウェアのセキュリティ機能から生まれます。多くの人にとって、仮想化とコンテナは良い組み合わせのように思えます。

コンテナは、展開、パッチ適用、クラウド コンピューティングの汎用性の点で VM よりも柔軟性が高く、VM のライセンス コストを節約できるため、VM よりも多くの開発者の注目を集めています。

高性能コンピューティングや人工知能を対象としたカンファレンスでコンテナ技術について話しても、あまり進展が見られないのは不思議ではありません。たとえば、Python と Julia は慎重に構成するとより適切に拡張でき、コンテナーはデプロイメントに役立ちます。

コンテナは、ユーザーに適切に調整された環境を提供する自然な方法であり、AI ユーザーの関心もあって、HPC 業界では 2019 年にコンテナの使用が増加すると予想されます。ハイパフォーマンス コンピューティングがインスタンスに負荷をかけることは間違いありません。そのため、最適化が必要なエコシステムです。この分野では多くの作業が行われており、ハイパフォーマンス コンピューティング コミュニティは、コンテナーへの欲求を満たすために、これを実現できるよう全員を支援します。

5. 規模の問題: ビッグデータ

人工知能があるところにはビッグデータが存在します。 AI コミュニティの主な焦点は、非常に大きなデータを使用してモデルから意味を導き出すことにあります。導入されている HPC アプリケーションでは大きなファイル サイズが必要であり、多くの HPC 運用センターではビッグ データの問題を適切に処理できるインフラストラクチャがすでに豊富に備わっています。

すべての高性能コンピューティング センターは、ビッグ データを新しいシステムの主要な要件と見なしており、人工知能のワークロードがビッグ データ需要の主な推進力となっています。

メモリは高価ですが、メモリ容量とフロップスの比率は年々減少しています。これはビッグデータの開発に影響を与える傾向です。メモリに関する新しい機能は、この傾向を逆転させ、ビッグデータ モデルに必要な大規模マシン (高性能コンピューターを含む) をサポートするという希望をもたらします。これらの新しいメモリ テクノロジにより、内部メモリとローカル ストレージ (SSD) の両方が拡張されます。

高性能コンピューティングは人工知能の開発において重要な役割を果たします。組織は、現実世界のデータの視覚化に最適なプロセッサにデータを近づけたいと考えています。これは、高性能コンピューティングが AI/機械学習に影響を与える最も大きな方法の 1 つです。ビッグデータの使用と理解の概念と、データの視覚化と分析の概念は相互に関連しています。

6. 人工知能はクラウドコンピューティングを利用する

AI 開発者は、HPC 開発者よりもクラウド コンピューティングを採用する可能性が高いです。クラウド アプリケーション向けの高性能コンピューティングはすでに登場していますが、AI アプリケーション向けの高性能コンピューティングにより、クラウドでの高性能コンピューティングが加速されます。

7. ハードウェア: ライブラリとフレームワークのインタラクティブ機能に焦点を当てる

人工知能にかかる作業量はそれほど多くありません。これは、「AI アクセラレータ」がセールスポイントとなるために必要なものが、少数のライブラリ インターフェースとフレームワークによって支配されていることを意味します。

インタラクティブ性は、高性能コンピューティング システムでは通常「後回し」にされてきた長年の要望ですが、AI プログラマーによって真っ先に重視されるようになりました。高性能コンピューティングの変化のペースはまだ不明ですが、たとえ断片的で目立たない部分があったとしても、この分野でのイノベーションは 2019 年に注目に値するものとなるでしょう。インタラクティブ性は「パーソナライゼーション」とも呼ばれます。

高性能コンピューティングにより、ハードウェアの多様性、相互運用性のサポート、および AI ワークロードをサポートするためのパフォーマンスに最適化された追加のライブラリ/フレームワークの抽象化が可能になります。高性能コンピューティング コミュニティにおけるパフォーマンスへの重点は、インフラストラクチャのさらなる統合がデータ センターの展開にどのようなメリットをもたらすかを示すのに役立ちます。パフォーマンスを諦めたい人は誰もいません。そうする必要がなければ、HPC コミュニティの専門知識が AI/ML パフォーマンスのコモディティ化に役立ち、コミュニティ間のハードウェア テクノロジの融合が促進されます。

8. 人々の融合: ユーザーの多様性と高性能コンピューティングへの関心の高まり

AIはさまざまなバックグラウンドを持つ新しい才能を注入します。人工知能は、大規模な高性能コンピューティングを民主化します。過去数年間、「HPC の民主化」というフレーズは、HPC がより広範なエンジニアや科学者のコミュニティにアクセス可能になったことを表すために使用されてきました。初期のスーパーコンピューティングのワークロードは数学や物理学の問題が中心でしたが、最近では、医療、天気予報、リスク管理などの分野で HPC ワークロードが不可欠であることがユーザーの間でますます認識されるようになっています。

AI のユーザー ベースは HPC のユーザー ベースよりもはるかに広範囲に及ぶため、HPC の民主化にまったく新しい次元がもたらされます。現在、高性能コンピューティングと人工知能の専門家が協力して開発に取り組んでいます。

9. 新規投資：推論

機械学習は、「トレーニング」と呼ばれる学習フェーズと「推論」と呼ばれる実装フェーズで構成されていると考えられることが多いです。特に、機械学習があらゆるソリューションに遍在的に組み込まれていることを考えると、トレーニングよりも推論に多くのサイクルが必要であるように思われます。

市場チャンスが非常に大きいため、世界中がこの推論市場のより大きなシェアを獲得しようとしているように感じます。推論は、プロセッサ、FPGA、GPU、DSP、および多数のカスタム ASIC に実装されています。電力、レイテンシー、全体的なコストは、さまざまなセールスポイントを持つ幅広い選択肢を人々に提供する重要な要素です。高性能 CPU と、低レイテンシ、簡単に再プログラム可能、レイテンシが予測可能な FPGA を組み合わせることは、CPU が支配的な現在の推論の世界を補完するための論理的な選択肢のように思えます。時間が経てば分かるだろう。

推論ワークロードは、ハイパフォーマンス コンピューティングを含むすべてのコンピューティングに大きな影響を与えることになります。

10. アプリケーションの統合：「再考」後の置き換えではない

ワークロードの多様性が拡大すると、ワークロードの収束が見られます。先見の明のある人たちは、高性能コンピュータと人工知能を組み合わせると多くのチャンスが生まれることを実証しました。ハリケーンなどの異常気象を予測できるモデルへのシステムの統合から、気候や天気予報システムまで。今、いろいろなアイデアが生まれています。敵対的生成ネットワーク (GAN) は、多くの人々から高く評価されている機械学習システムの一種です。敵対的生成ネットワーク (GAN) は、間違いなく、高性能コンピューティングと AI/機械学習の取り組みを融合するのに役立ちます。

現在、HPC と AI 技術を組み合わせたアプリケーションはほとんどありませんが、この分野での初期の結果に基づくと、これが HPC アプリケーションの将来であり、AI によって HPC が直面する変化を構成するものであることは容易に予測できます。

これら10の方法を理解する

コンピューティングの歴史は、ある意味では変わっていません。すべては、システム全体がユーザーのために何を行うかによって決まります。要件は変化しますが、完全なシステムがハードウェアとソフトウェアで構成されているという事実は変わりません。単一のテクノロジー (ハードウェアまたはソフトウェア) に気を取られやすいため、システムでは新しいテクノロジーが最も役立つ場所に慎重に適用されます。

結論: AIは高性能コンピューティングを活用し、永遠に変化するだろう

実際、AI は高性能コンピューティングの歴史において最大の変革をもたらすものとなるかもしれません。ハイパフォーマンスコンピューティングは、独自のワークロードで実装されるにつれて進化し続けており、AI でも進化していきます。

つまり、AI ユーザーは HPC コミュニティに参加し、そこに独自のマークを付ければよいのです。他の HPC ユーザーと同様に、非 HPC システムも使用します。

AI ワークロード専用に設計および構築されたカスタムの高性能マシンが存在する一方で、AI ワークロードを実行する他のマシンは、非 AI ワークロードを実行するより汎用的な高性能施設でも実行されます。高性能で柔軟なマシンが求められる状況では、バランスの取れたマシンが高速化されます。人工知能は、将来スーパーコンピュータとみなされるものを定義するのに役立ち、それによって高性能コンピューティングの方向性を決定づける可能性があります。