PyTorch はメジャーアップデートされ、再び TensorFlow と競合しています。AWS もディープラーニング フレームワークの泥沼に足を踏み入れようとしているのでしょうか?

[[323254]]

ちょうど今、Facebook と AWS は PyTorch の 2 つのメジャーアップデート、TorchServe と TorchElastic を発表しました。少し前に、Google は DynamicEmbedding を発表しました。二大陣営が再び戦いを開始、FacebookとAmazonはそれぞれの強みを生かして力を合わせてGoogleに対抗します！

FacebookとAmazonが大規模で高性能なAIモデル向けの新しいPyTorchライブラリを発表

ちょうど今、Facebook と AWS が PyTorch の 2 つのメジャーアップデートを発表しました。

1 つ目は TorchServe です。これは PyTorch 向けの製品モデル提供フレームワークで、開発者がモデルを製品化しやすくします。

2 つ目は TorchElastic です。これにより、開発者は AWS の EC2 スポットインスタンスや Elastic Kubernetes Service などの Kubernetes クラスター上で、フォールトトレラント性の高いトレーニングジョブを簡単に構築できるようになります。

しかし、公開の過程で、Facebookの公式ブログで小さな事件が発生し、記事の公開日が2020年ではなく誤って2019年と記載されてしまいました。

TorchServe はどこに向かっているのでしょうか?

近年、Facebook と AWS は機械学習エンジニアリングの実践経験を豊富に蓄積しており、PyTorch は学界やオープンソース コミュニティで非常に人気があります。

TensorFlow の重要な利点は、TensorFlow Serving や Multi Model Server などのモデル サーバーであり、これらは本番環境に迅速にデプロイできます。

AWS は、複数のフレームワークを処理できる SageMaker を使用して独自のモデルサーバーを実行した豊富な経験を持っています。 PyTorch には非常に活発なコミュニティがあり、頻繁に更新されます。

開発者はニーズに応じて簡単にカスタマイズできる独自のモデルサーバーを必要としており、AWS も独自のサーバーを推進する必要があり、両者は意気投合して TorchServe を PyTorch の新バージョンでオープンソース化しました。

Kubernetesとの統合により、TorchElasticはトレーニングとデプロイメントを容易にします

TorchElastic は Kubernetes とシームレスに統合できます。PyTorch 開発者は、モデル トレーニングをより効率的にするために動的にスケーリングできる複数のコンピューティング ノードで機械学習モデルをトレーニングできます。

TorchElastic に組み込まれたフォールト トレランスはブレークポイントの再開をサポートしており、モデル トレーニング エラーが発生した後でも以前の結果を使用できます。このコンポーネントは、分散 PyTorch ジョブ用のインターフェースを記述しています。開発者は、TorchElastic ノードとサービス自体を管理することなく、多数の分散ノードでモデルを実行するためのインターフェースを記述するだけで済みます。

Kubernetes との統合がなぜ重要なのか?

プログラムを展開する従来の方法は、オペレーティング システムを介してホストにプログラムをインストールすることです。これを実行する欠点は、プログラム、依存ライブラリ、環境構成の間で混乱が生じやすいことです。コンテナの展開は、ハードウェア仮想化ではなく、オペレーティング システム レベルの仮想化に基づいています。

コンテナは小さくて高速であり、各コンテナ イメージはプログラムをパッケージ化して読み込むことができます。 Kubernetes はコンテナの管理に使用されるため、PyTorch と Kubernetes を組み合わせると、モデルのトレーニング速度が大幅に向上し、デプロイメントの難易度が軽減され、モデルのライフサイクル全体をより適切に管理できるようになります。

Google が DynamicEmbedding を開始し、TensorFlow を「大規模」アプリケーションに導入

Facebook より数日前に、Google は DynamicEmbedding という製品を発表しました。これは、TensorFlow を任意の数の機能 (検索クエリなど) を備えた「大規模な」アプリケーションに拡張できるものです。また、この目的に特化した論文も発表しました。Google が数十か国で評価した 72 の再評価指標のうち、DynamicEmbedding 駆動型モデルは 49 の指標で勝利しました。

[[323255]]

論文の宛先:

出典: http://arxiv.org/pdf/2004.08366.pdf

Google は論文の中で、DynamicEmbedding はモデルトレーニング技術を通じて自己進化し、貴重な情報が多すぎる場合にも破棄される可能性があるシナリオに対処できると述べています。

DynamicEmbedding には「中断のない」拡張機能があり、エンジニアによる頻繁なコールバックを必要とせずに、6 か月以内に数ギガバイトから数百メガバイトまで自動的に拡張できます。

同時に、DynamicEmbedding はメモリをほとんど消費しません。たとえば、100 個の TensorFlow ワーカーと 297,781 個の語彙を使用して Seq2Seq モデルをトレーニングする場合、同じ精度を達成するために TensorFlow で少なくとも 242 GB の RAM が必要であるのに対し、このモデルでは 123 GB から 152 GB の RAM しか必要ありません。

実際、DynamicEmbedding モデルは、Google のスマート広告ビジネスで長年使用されており、「大規模な」検索クエリに基づいて画像に注釈を付けたり (Inception を使用)、文章を多言語の広告説明に翻訳したり (ニューラル マシン翻訳を使用) しています。

その上で開発されたAIモデルは、2年間で大幅な精度向上を達成しました。2020年2月現在、Googleスマートキャンペーンモデルのパラメータは1240億を超えており、20の言語でのクリック率やその他の指標の点で、非ダイナミックエンベディングモデルよりもパフォーマンスが優れています。

ビルド プロセスもシンプルで、TensorFlow の Python API に、シンボリック文字列を入力として受け取り、モデルの実行時に上流および下流の信号を「傍受」する新しい操作セットを追加するだけで済みます。

DynamicEmbedding は、EmbeddingStore と呼ばれるコンポーネントを通じて、Spanner や Bigtable などの外部ストレージ システムと統合されます。データはローカル キャッシュとリモートの変更可能なデータベースに保存できます。

DynamicEmbedding はワーカーの障害から迅速に回復できるため、新しいリクエストを受け入れる前に以前のデータがすべてロードされるまで待つ必要がありません。

両陣営は再び戦争状態となり、フェイスブックとアマゾンがグーグルと戦うために協力している。

TensorFlow は Google のビッグツリーに依存し、初期の配当を活用し、一時的にベースでリードしています。

しかし、競合他社がどんどん参入するにつれて、TF の主導的地位は深刻に脅かされ、PyTorch が TF に取って代わる兆しを見せています。

これまで、PyTorch が TensorFlow より優れている最大の利点は、動的グラフ メカニズムだけであり、これにより PyTorch は TensorFlow よりもデバッグが容易になりました。開発者は、コンパイルと実行中にニューラル ネットワークの構造を生成し、対応する操作を実行する必要がなくなり、アイデアをより便利にコードに変換できるようになりました。

さらに、TensorFlow と比較すると、PyTorch のコーディング スタイルはより Python 的です。 PyTorch の動的グラフ メカニズムと、より純粋な Python コード スタイルが組み合わさったことで、PyTorch は急速に人気を博しました。

Google は勢いが足りないことに気づき、2017 年に急遽、動的グラフをサポートする TensorFlow Fold をリリースし、その後、アップグレード版である Eager Excuation をリリースしました。しかし、長い間 TensorFlow に深く根付いてきた静的コンピューティングを、短期間で完全に変更するにはどうすればよいでしょうか?

TensorFlow 2.0 は開発者の学習コストが高いだけでなく、Google は自社の従業員向けに操作ガイドを作成する必要さえあります。

ユーザーは足で投票します。Google であっても Facebook であっても、最も重要なのは悪事を働いているかどうか、そして製品が使いやすいかどうかです。採用ウェブサイトに掲載されている要件は、企業の姿勢を最も直接的に反映します。

データソース:

https://towardsdatascience.com/どのディープラーニングフレームワークが最速で成長しているのか-3f77f14aa318

勾配統計によると、PyTorch は学術界でますます人気が高まっており、TensorFlow をはるかに上回っています。

いくつかの主要な AI カンファレンスのキーワード数から判断すると、PyTorch は過去 2 年間で爆発的な成長を示しており、TF は下降傾向にあります。

データソース:

https://thegradient.pub/state-of-ml-frameworks-2019-pytorch-dominates-research-tensorflow-dominates-industry/

事業ラインの観点から見ると、Google はフレームワークだけでなく、独自のクラウド サービスも持っています。 FacebookとAmazonについては、一方は最先端のフレームワークを持っているがクラウドコンピューティングが欠けており、もう一方はその逆だ。AWSはクラウドコンピューティングでトップにランクされているが、そのフレームワークは他の2社よりも弱い。

Google の意図は、トレーニングとデプロイメントにおける優位性をさらに拡大することであることは明らかです。Facebook の PyTorch はこれまで、本番環境のデプロイメントなどの面で TensorFlow に遅れをとっていました。更新された TorchServe と TorchElastic は、これまでのギャップを埋めることになります。

AWSとの協力は、Amazonの多数のクラウド顧客の支持も獲得するだろう。結局のところ、独自に開発したフレームワークは、自社のプラットフォームで使用する方が便利だ。もちろん、AmazonはPyTorchコミュニティでもより多くの支持を得ることになるだろう。

ここで、他の 2 つのよく知られたフレームワーク、Caffe と MXNet について触れておく必要があります。二人の市場規模は大きくないが、かつては村全体の希望だった。

現在、Caffe は PyTorch に置き換えられました。F/A が統合されると、MXNet の運命はどうなるのでしょうか?ぜひコメントを残して推測してみてください！