Huawei のフルシナリオ AI コンピューティングフレームワーク MindSpore がオープンソースになりました。

Huawei の Mindspore AI コンピューティングフレームワークの公式オープンソースリリースは、Huawei にとって AI の夢に向けた新たな一歩であり、ディープラーニングのオープンソース分野に有力企業が参入したことになります。あらゆるシナリオに適用可能、エンド・クラウド・エッジ連携、敷居の低い開発、効率的な分散並列コンピューティングなど、MindSporeはAI分野にどのような革命をもたらすのでしょうか。

ハードウェア企業としてスタートした同社は、AI分野に参入してからは困難な問題への取り組みに注力してきた。

最初はチップの製造から始まり、10年がかりで4000億元を投資し、天鋼、麒麟、昇天など私たちがよく知るチップを生み出しました。

現在、彼らは AI 開発のハードルを下げ、開発者がコードを簡単に移植し、あらゆるシナリオでオンデマンドのコラボレーションを実現できるようにすることを目指して、AI フレームワークを開発しています。

これにはただ一つの目的、つまりすべてをつなげることです。

はい、この会社はHuaweiです。

ファーウェイの輪番会長である徐志軍氏が2018年10月10日のファーウェイ・コネクテッド・カンファレンスでMindSporeを発表してから1年以上が経った。

1年以上前、HuaweiはAIフレームワークの世界に新星が出現することを皆に知らせていました。そして1年以上経った今日、Huawei MindSporeのチーフサイエンティストであるChen Leiは、中国初のフルシナリオAIコンピューティングフレームワークMindSporeが正式にオープンソース化されたことを発表しました。

この使いやすいフレームワークは 4 月に公式にパブリックベータ版が開始され、開発者はそれを実際に体験できるようになります。

MindSpore誕生：2兆ドル規模のブルーオーシャンでHuaweiを守る

ファーウェイ副会長の胡厚坤氏はかつてファーウェイ・オールコネクト・カンファレンスでこう語った。「我々は2兆ドル規模のコンピューティング業界のブルーオーシャンに直面している。」

Huawei は現在、この巨大なブルーオーシャンを航海するためのハードウェア基盤を備えているため、次のステップはソフトウェアのフォローアップです。

しかし、海は荒れていました。

最初の波はテクノロジー戦争と貿易戦争であるため、ファーウェイは船全体を転覆させるほどのこれらの波に耐えるために、独立した制御可能なフルシナリオコンピューティングフレームワークを備えている必要があります。

2 番目の波は、現在のコンピューティングフレームワークには、開発のハードルが高い、運用コストが高い、展開が難しいなどの問題があり、早急に解決する必要があることです。

エンド、エッジ、クラウドのすべてのシナリオをサポートするファーウェイのオープンソースディープラーニングトレーニングおよび推論フレームワークであるMindSporeは、誕生以来、その年齢では担うべきではない大きな使命を担ってきました。

具体的には、MindSporeは現在、コンピュータービジョンや自然言語処理などのAI分野で主に使用されており、データサイエンティストやアルゴリズムエンジニアに設計フレンドリーで効率的な開発体験を提供するとともに、Ascend AIプロセッサのネイティブサポートやソフトウェアとハードウェアの協調最適化の問題を解決します。

より広い意味では、その戦略的意義は、世界的な人工知能オープンソースコミュニティを構築し、人工知能ソフトウェアおよびハードウェアアプリケーションエコシステムの繁栄した発展を促進することにあります。

効率的な実用的な開発を促進する強力なコア機能

開発者は、テンソル、演算子、セル、モデルという 4 つの基本概念と Python プログラミングの基礎を習得するだけで、MindSpore が提供する高度な API を実際の開発に活用できます。

陳磊氏は、Mindsporeの主要機能ロードマップの変更点を紹介し、開発者のニーズに基づいてMindsporeを継続的に改善し、開発者の最も関心の高い中核的なニーズを満たすよう努めることを約束しました。

次に、MindSpore のコア機能を見てみましょう。

自動微分

現在主流のディープラーニングフレームワークには、主に3つの自動微分化技術があります。コンパイル時にネットワークを静的データフローグラフに変換し（TensorFlow）、静的グラフ上で自動微分化を行うもの、演算子のオーバーロードを記録することでデータフローグラフを動的に生成し（PyTorch）、動的グラフ上で自動微分化を行うものです。

MindSpore は、ソースコード変換に基づく一般的な自動微分化を使用します。つまり、中間式 (コンパイルプロセス中のプログラムの表現形式) に対してジャストインタイム (JIT) 方式で自動微分変換を実行し、while/if/for などの複雑な制御フロー構造をサポートし、高階関数やクロージャなどの柔軟な関数型プログラミング手法をサポートします。

自動並列化

MindSpore の自動並列化により、高いパフォーマンスを維持しながら、シリアルアルゴリズムコードを使用して分散並列トレーニングを自動的に実装できます。分散並列トレーニングのパラダイムには、データ並列性、モデル並列性、およびこれら 2 つのパラダイムを組み合わせたハイブリッド並列性が含まれます。

MindSpore の自動並列処理では、データ並列処理、モデル並列処理、ハイブリッド並列処理を統合した新しい分散並列トレーニングモードが採用されています。

効率的なデータ処理

MindSpore の MindData は、データのロード、データの拡張、トレーニングのインポートなど、トレーニングプロセス中のデータのパイプライン処理を完了する役割を担います。また、シンプルで使いやすいプログラミングインターフェイスと、CV/NLP などのあらゆるシナリオをカバーする豊富なデータ処理機能も提供します。 MindData は、データ強化のために c_transforms モジュールと py_transforms モジュールを提供します。ユーザーは、データ強化のために演算子をカスタマイズすることもできます。

効率的なグラフ実行エンジン

MindSpore のグラフ処理操作は、実行制御層、ビジネス機能層、データ管理層の 3 つの層に垂直に分かれています。分析を水平方向に拡張すると、グラフの準備、グラフの分割、グラフの最適化、グラフのコンパイル、グラフの読み込み、グラフの実行という 6 つの主要なステップに分けられます。上記のグラフ操作により、MindSpore グラフエンジンは、フロントエンドから送信されたグラフを Ascend ハードウェア上で効率的に実行できるグラフモードに変換できます。

高度に最適化されたモデルマーケットプレイス

MindSpore は、開発者が直接使用できるように、2020 年第 4 四半期に 30 を超えるディープ最適化モデルを提供する予定です。

さらに、MindSpore は、単一のトレーニングを視覚化し、複数のトレーニングのモデルをトレースできる視覚化ツールも提供しており、開発者がモデルトレーニングプロセスの問題を迅速に特定するのに役立ちます。

先進的なデザインコンセプト、低敷居の分散型フルシーン

MindSpore の発売は、AI 研究と応用の間にある大きなギャップという業界の問題点に対する Huawei の深い洞察に基づいています。

このギャップを埋めるために、MindSpore は 3 つの主要な設計コンセプトを提案しました。

新しいプログラミングパラダイム

ネイティブの数式に基づく新しい AI プログラミングパラダイムにより、開発者は AI の革新と探索に集中し、1 行のコードで並列戦略を自動的に検索し、基盤となるアーキテクチャに注意を払うことなく並列処理を実現できます。

新しい実行モード

デバイス上での画像全体のオフロードとディープイメージの最適化により、コンピューティング能力を最大限に活用します。競合他社と比較して、MindSpore での Resnet50 画像分類のトレーニング時間は 23% 短縮され、Bert Chinese の事前トレーニング時間は 62% 短縮され、トレーニング時間が大幅に短縮されました。

フルシナリオオンデマンドコラボレーション

MindSpore は、エンドエッジクラウドのフルシナリオ展開のためのフレームワークを実装し、一度の開発と複数の場所での効率的な実行を可能にして、開発と展開の効率を大幅に向上させます。