PyTorch が主要カンファレンスを席巻、TensorFlow が業界から撤退: 機械学習フレームワークは 1 年で変化しました

TensorFlow 2.0 は数日前に正式にリリースされ、 PyTorch 1.3も本日リリースされました。

1 つは「使いやすさ」にこだわり、もう 1 つはモバイル展開に専念しています。ベテランも新人も全力を尽くしています。

結局のところ、機械学習フレームワークの世界では状況が急速に変化するため、注意しないと自分の領域を失ってしまいます。

1 年前は、TensorFlow が依然としてトップ カンファレンスで発表される論文の主流フレームワークでしたが、現在ではトップ カンファレンスは PyTorch がほぼ独占しています。

CVPR 2019 では、PyTorch のみに言及した論文が 280 件、TensorFlow のみに言及した論文が 125 件ありましたが、この差が最も大きいカンファレンスではありません。

あるネットユーザー (@programmerChilli) は、多数の研究者が TF から逃げて PT を採用していることは知っているものの、次のように述べた。

しかし、増加率がこれほど高くなるとは想像もしていませんでした。

では、PyTorch の利点は何でしょうか?

PyTorch はこれまでずっと成功を収めてきましたが、TensorFlow が長年運営してきたビジネス モデルにどのような影響を与えるのでしょうか。

今回、コーネル大学のティーンエイジャー、ホレス・ヒーが詳細な調査レポートで現状をまとめ、初心者候補者への指針を示しました。

PyTorchが学術界を席巻

レポートは次のように始まります: 現在の背景としては、多数の研究者が TensorFlow から PyTorch に切り替えたことです。

しかし、この勢いがどれほど強いかは、誰もが知らないかもしれない。 2018 年と 2019 年のトップカンファレンスを比較してみましょう。

△ブロックされたICMLは32.5％

この表には、CVPR、NAACL、ACL、ICLR、ICML の 5 つのトップ カンファレンスで PyTorch のみに言及した論文、または TensorFlow のみに言及した論文の数が記載されています。

2018 年には、 PyTorch の 5 つのデータすべてが TensorFlow のデータよりも低くなりました。

2019 年、PyTorch は 5 つの数字すべてで TensorFlow を上回りました。

PyTorch の各データの成長率は192%から450%の間であり、非常に激しい成長です。

その中で、自然言語処理 (NLP) のトップカンファレンスであるNAACL (450%) とACL (290%) の成長率が最も高く、ビジョンのトップカンファレンスであるCVPR (240%) でも大幅な増加が見られました。

対照的に、TensorFlow では 3 つのデータ項目が減少しました。その中で、NAACL データは 38.2% 減少しており、ここで PyTorch が飛躍的に成長しました。

1 つが成長すると、もう 1 つは縮小します。わずか 1 年で、PyTorch はその弱点を圧倒的な利点に変えました。

280:125（CVPR）、2倍以上です。

66:21（ACL）、3回以上。

103:33 (NAACL)、3倍以上。

PyTorch の優位性は、言語とビジョンのカンファレンスで最も顕著です。これは前述の増加と一致しています。

PyTorch を新参者とみなし、TensorFlow が支配する世界で独自の領域を切り開こうとする人がまだいるとしても、データは、もはやそうではないことを示しています。

TensorFlow のデータポイントは 2 つ増加しているように見えますが、実際には ICML (32.5%) の増加のみが、カンファレンスで採択された論文の総数の増加に追いつくことができます。

とはいえ、他の 4 つのカンファレンスでは、TensorFlow はすでに衰退し始めていました。

研究者はなぜ PyTorch を好むのでしょうか?

一つはシンプルさです。 NumPy に似ており、Python スタイルを持ち、Python エコシステムと簡単に統合できます。

たとえば、PyTorch モデルに pdb ブレークポイントをドロップするだけで、すぐに機能します。

対照的に、TensorFlow モデルでのデバッグははるかに複雑です。

第二に、 API は優れています。ほとんどの研究者は、TensorFlow の API よりも PyTorch の API を好みます。 PyTorch はより科学的に設計されていますが、TensorFlow ではさまざまな API を切り替える必要があるため、不便です。

'レイヤー' -> 'スリム' -> '推定器' -> 'tf.keras'

3つ目はパフォーマンスです。 PyTorch の動的グラフでは最適化の余地は少ないものの、多くのユーザーから、PyTorch は TensorFlow と同等か、それ以上に高速であると報告されています。

どちらが速いかを示す厳密なテストデータはありませんが、少なくとも TensorFlow には明らかな利点はありません。

これは、最初の 2 つのポイントと合わせて、多くの研究者が PyTorch を採用するのに十分です。

TensorFlow は研究においてどのように機能するでしょうか?

将来的に TensorFlow が PyTorch と同じくらいユーザーフレンドリーになったとしても、PyTorch はすでに大きな領域を占めています。

つまり、PyTorch コードの実装が見つけやすくなり、誰もが使用できるように PyTorch コードを公開する意欲が高まり、チームメイトも他の人と共同作業する際に PyTorch を好むようになるということです。

したがって、 TensorFlow 2.0への移行がすぐに進む可能性は低いでしょう。

もちろん、Google と DeepMind は今でも社内研究に TensorFlow を使用しています。彼らの研究結果は、おそらく一部の研究者に TensorFlow を使い続ける自信を与えたのでしょう。

しかし、ホレス氏は、Google 社内にも TensorFlow からの脱出を熱望する研究者が多くいると聞きました。

一方、PyTorch がますます優勢になるにつれて、Google の研究者はコミュニティ全体から疎外される可能性があります。外部の研究に基づいて独自のアプリケーションを構築することが難しくなり、外部の研究者が Google のコードから学ぶことも難しくなります。

最後に、TensorFlow 2.0 が一部の研究者の支持を取り戻すことができるかどうかは、時間がかかるでしょう。 Eager Execution は確かに魅力的な点ですが、Keras API はそうではないかもしれません。

TensorFlowは業界を牽引している

「PyTorch は本当に優れている」という理論はさまざまな開発者コミュニティで非常に人気があり、現在ではトップカンファレンスのデータで TensorFlow を圧倒していますが、実際には、業界では TensorFlow が依然として優位に立っています。

たとえば、Medium ブロガーの Jeff Hale 氏の統計によると、2019 年には TensorFlow のオンライン求人広告に 1,541 件の新規ポジションがあったのに対し、PyTorch では 1,437 件でした。

arXiv の論文数から判断すると、TensorFlow は依然として 1 位ですが、その差は縮まっています。

一方、TensorFlow は PyTorch よりも早く誕生しました。業界は学術界ほど新しいものを追求することに熱心ではなく、TensorFlow の使用は業界の慣性になっています。

さらに、多くの企業のコードは TensorFlow をベースに構築されており、それを PyTorch に移行するのは簡単ではありません。

一方、PyTorch と比較すると、TensorFlow 自体は業界向けにカスタマイズされています。

研究実験と比較すると、業界では次のような制限や要件が多くあります。

Pythonは必要ありません。 Python はサーバー上で実行するには高価すぎるため、一部の企業では購入できません。

モビリティ。モバイルバイナリに Python インタープリターを埋め込む方法はありません。

・ 仕える。ダウンタイムなしの更新、モデル間のシームレスな切り替え、予測可能なタイミングでのバッチ処理など、さまざまな機能を備えています。

これらの点では、TensorFlow は明らかに PyTorch よりもはるかに優れています。たとえば、モデルをトレーニングし、TF Lite を使用してデプロイすることは、現在利用可能な最も信頼性の高い本番パイプラインの 1 つです。

あるネットユーザーは次のような例を挙げた。

TensorFlow はモデルを coreml Android モデルにエクスポートすることができ、GCP (Google Cloud Platform) 環境などのあらゆる形式の運用環境に簡単に転送することもできます。

対照的に、PyTorch のデプロイメントはやや困難です。モデルを Python 以外の環境にエクスポートできず、最適化できず、モバイル デバイスで実行できません (PyTorch 1.3 のリリースにより、モバイル デバイスにデプロイできない問題は解決されました)。

さらに、TensorFlow にはKerasと呼ばれる優れたパートナーがあります。

しかし、一部のネットユーザーは、PyTorch が業界で主流になるのは時間の問題だと考えています。

結局のところ、2018 年のトップ カンファレンスでは TensorFlow が依然として主流でした。わずか1年で王位は交代した。

△ Medium ブロガーの Jeff Hale による統計

「融合」トレンド

PyTorch は勢いを増していますが、TensorFlow も止まっていません。

興味深い現象は、現在、これら 2 つの機械学習フレームワークが「収束」の傾向を示していることです。

国慶節の休暇中に、TensorFlow 2.0 が正式にリリースされ、TensorFlow と Keras をさらに統合して使いやすさが向上しました。関係者によると、これは高速でスケーラブル、本番環境に対応し、柔軟で強力なプラットフォームです。

Keras の作者である François Chollet 氏は、「TensorFlow 2.0 は未来の機械学習プラットフォームであり、すべてを変える」とさえ述べています。

デフォルトの Eager 実行モードでは、TensorFlow 2.0 は、使いやすさやデバッグ可能性など、PyTorch Eager モードの利点のほとんどを提供できます。

さらに、TensorFlow の API が複雑すぎるという問題に対処するため、バージョン 2.0 では、よりユーザーフレンドリーな API も提供されます。モデルのトレーニングと提供は、基本フレームワークにシームレスに統合されています。

PyTorch 側では、グラフィックス機能を追加するために、2018 年末に JIT コンパイラと「TorchScript」が導入されました。

ちょうど本日、PyTorch 1.3 がリリースされ、モバイル デプロイメント、量子化、名前付きテンソルなどの新機能が追加されました。

機械学習フレームワークの将来において、ゲームのルールがどのように変化するかを見るのは本当にエキサイティングです。

FBとGoogleのデュアルインターンシップ

最後に、この詳細なレポートの著者を紹介したいと思います。

コーネル大学のホレス・ヒーさんは、2016年に入学した学部生です。

大学入学以来、毎年夏に大企業でインターンをしており、2017年にはFacebookでソフトウェアエンジニアのインターン、2018年にはGoogleでソフトウェアエンジニアのインターン、2019年にはFacebookでPyTorchのインターンを務めました。

さらに、この少年はVSCodeVim (6.2k スター) の主要な貢献者の 1 人でもあります。

では、TensorFlow と PyTorch、どちらを選びますか?