PyTorch から Mxnet まで、7 つの主要な Python ディープラーニングフレームワークを比較

[[184728]]

最近、Data Science Stack Exchange の「ニューラルネットワークに最適な Python ライブラリ」というトピックに関する古い回答を偶然見つけ、過去 2 年半で Python ディープラーニングエコシステムがどのように進化してきたかを実感しました。 2014 年 7 月に私が推奨したライブラリ pylearn2 は、現在では積極的に開発もメンテナンスも行われておらず、多数のディープラーニングライブラリがその代わりを務め始めています。これらのライブラリにはそれぞれ独自の利点があります。以下のリストにあるテクノロジーのほとんどは、インディコの製品や開発で使用していますが、使用していないテクノロジーについては、他の人の経験を参考にして、2017 年の Python ディープラーニングエコシステムを明確かつ詳細に理解できるようにします。

具体的には、次の点に重点を置きます。

テアノ
ラザニア
ブロック
テンソルフロー
ケラス
MXネット
パイトーチ

以下では、7 つの主要な Python ディープラーニングフレームワークの説明と、それぞれの長所と短所を紹介します。また、各フレームワークにはいくつかのリソースも推奨されています。ただし、WeChat は外部リンクをサポートしていないため、リソースを表示するには元の URL をクリックして読むことをお勧めします。

テアノ

リンク: https://github.com/Theano/Theano

説明: Theano は、多次元配列を含む数式を定義、最適化、効率的に評価できる Python ライブラリです。 GPU で動作し、記号微分化に優れています。

ドキュメント: http://deeplearning.net/software/theano/

概要: Theano は、当社のリストにある他の多くのディープラーニングフレームワークを支える数値計算の主力製品です。 Theano は、モントリオール大学機械学習研究所 (MILA) の非常に優秀な研究チームである Frédéric Bastien によって作成されました。その API は低レベルであり、効率的な Theano を書くためには、他のフレームワークの背後に隠されたアルゴリズムにかなり精通している必要があります。機械学習に関する幅広い学術的知識をお持ちの場合、モデルをきめ細かく制御したい場合、または斬新なモデルや珍しいモデルを実装したい場合は、Theano が最適なライブラリです。要約すると、Theano は柔軟性のために使いやすさを犠牲にしています。

アドバンテージ：

フレキシブル
正しく使用すれば高いパフォーマンスを発揮

欠点:

学習困難度が高い
低レベルAPI
複雑なシンボリックグラフのコンパイルは時間がかかることがある

ラザニア

リンク: https://github.com/Lasagne/Lasagne

説明: Theano 上でニューラルネットワークを構築およびトレーニングするための軽量ライブラリ

ドキュメント: http://lasagne.readthedocs.org/

概要: Theano は記号数学のための最高かつ最先端のライブラリを目指しており、Lasagne は Theano の上に抽象化を提供し、深層学習により適したものにします。これは主に、現在の DeepMind 研究科学者である Sander Dieleman によって作成および保守されています。 Lasagne では、シンボリック変数間の機能的関係に基づいてネットワークモデルを指定する代わりに、ユーザーがレイヤーで考えることができるようにし、「Conv2DLayer」や「DropoutLayer」などのビルディングブロックをユーザーに提供します。 Lasagne は、柔軟性をほとんど犠牲にすることなく、レイヤーの定義、レイヤーの初期化、モデルの正規化、モデルの監視、およびモデルのトレーニングを支援する豊富な共通コンポーネントのセットを提供します。

アドバンテージ：

依然として非常に柔軟
Theanoよりも高いレベルの抽象化
ドキュメントとコードにはさまざまなパスタの駄洒落が含まれています

欠点:

小さなコミュニティ

ブロック

リンク: https://github.com/mila-udem/blocks

説明: ニューラルネットワークの構築とトレーニングのためのTheanoフレームワーク

ドキュメント: http://blocks.readthedocs.io/en/latest/

概要: Lasagne と同様に、Blocks は Theano の上に抽象化レイヤーを追加して、生の Theano を記述するよりもディープラーニングモデルをより明確、シンプル、標準化したものにします。これはモントリオール大学の機械学習研究所 (MILA) によって書かれました。この研究所のメンバーの一部は、Theano と、ニューラルネットワーク用に定義された最初の高レベルインターフェース (現在は廃止された PyLearn2) の構築に貢献しました。 Blocks は Lasagne に比べて柔軟性が高いですが、その分参入障壁が高く、効率的に使用するのはかなり困難です。それに加えて、Blocks はリカレントニューラルネットワークアーキテクチャを適切にサポートしているので、このタイプのモデルを探索することに興味がある場合は、検討する価値があります。 TensorFlow に加えて、Blocks は、indico 製品に導入した多くの API の頼りになるライブラリです。

アドバンテージ：

依然として非常に柔軟
Theanoよりも高いレベルの抽象化
テストが簡単

欠点:

学習困難度が高い
小規模コミュニティ

テンソルフロー

リンク: https://github.com/tensorflow/tensorflow

説明: データフローグラフを使用した数値計算用のオープンソースソフトウェアライブラリ

ドキュメント: https://www.tensorflow.org/api_docs/python/

概要: TensorFlow は、低レベルのシンボリックライブラリ (Theano など) と高レベルのネットワーク仕様ライブラリ (Blocks や Lasagne など) のハイブリッドです。これは Python ディープラーニングライブラリコレクションの最新メンバーですが、Google Brain チームのサポートにより、おそらく最も活発なコミュニティを持っています。複数の GPU 上でディープラーニングモデルを実行することをサポートし、効率的なデータパイプラインのためのユーティリティを提供し、モデルの検査、視覚化、シリアル化のためのモジュールが組み込まれています。最近、TensorFlow チームは、リストの次のディープラーニングライブラリである Keras をサポートすることを決定しました。 TensorFlow には独自の欠点もありますが、コミュニティはこの決定に同意しているようです。また、コミュニティの規模の大きさとプロジェクトの勢いの強さを考えると、TensorFlow を学ぶことは安全な賭けと言えます。したがって、現在、Indico では TensorFlow がディープラーニングライブラリとして選択されています。

アドバンテージ：

ソフトウェア大手のGoogleが支援
非常に大きなコミュニティ
低レベルおよび高レベルのインターフェースネットワークトレーニング
Theanoベースの構成よりも高速なモデルコンパイル
完全なマルチGPUサポート

欠点:

Tensorflow は追いつきつつありますが、当初は多くのベンチマークで Theano ベースのものよりも遅かったです。
RNNのサポートはまだTheanoほど良くない

ケラス

リンク: https://github.com/fchollet/keras

説明: Python 用のディープラーニングライブラリ。 Convnets、リカレントニューラルネットワークなどをサポートします。 Theano または TensorFlow 上で実行されます。

ドキュメント: https://keras.io/

概要: Keras はおそらく最高かつ最もユーザーフレンドリーなライブラリです。 Francis Chollet (Google Brain チームの別のメンバー) によって作成および保守されています。これにより、ユーザーは、構築したモデルを Theano のシンボリックグラフで実行するか、TensorFlow で実行するかを選択できます。 Keras のユーザーインターフェースは Torch にヒントを得ているため、Lua 言語を使用した機械学習の経験がある場合は、Keras をぜひ試してみる価値があります。非常に優れたドキュメントと比較的使いやすいことから、Keras コミュニティは非常に大きく活発です。最近、TensorFlow チームは組み込みサポートのために Keras と連携する計画を発表したため、まもなく Keras は TensorFlow プロジェクトのサブグループになります。

アドバンテージ：

TheanoまたはTensorFlowバックエンドの選択
直感的で高水準なポート
学びやすい

欠点:

他の選択肢よりも柔軟性が低く、より規範的である

MXネット

リンク: https://github.com/dmlc/mxnet

説明: MXNet は、効率性と柔軟性を重視して設計されたディープラーニングフレームワークです。

ドキュメント: http://mxnet.io/api/python/index.html#python-api-reference

概要: MXNet は Amazon が選んだディープラーニングライブラリであり、おそらく最高のライブラリです。 Theano や TensorFlow に似たデータフローグラフを持ち、マルチ GPU 構成に適切に構成され、Lasagne や Blocks に似た高レベルのモデル構築ブロックを備え、想像できるほぼすべてのハードウェア (携帯電話を含む) で実行されます。 Python のサポートは氷山の一角にすぎません。MXNet は、R、Julia、C++、Scala、Matlab、Javascript 用のインターフェースも提供しています。最高のパフォーマンスを求める場合は MXNet を選択してください。ただし、MXNet のいくつかの癖に対処する必要があります。

アドバンテージ：

スピードのベンチマーク
非常に柔軟

欠点:

最小のコミュニティ
Theanoよりも習得が難しい

パイトーチ

リンク: https://github.com/pytorch/pytorch

説明: 強力な GPU アクセラレーションを備えた、Python のテンソルと動的ニューラルネットワーク。

ドキュメント: http://pytorch.org/docs/

概要: 少し前にリリースされたばかりの PyTorch は、すでに Python ディープラーニングフレームワークのリストに新しいメンバーとして加わっています。これは Lua の Torch ライブラリを Python に緩く移植したもので、Facebook の人工知能研究チーム (FAIR) によってサポートされ、動的計算グラフ (Theano、TensorFlow、その他の派生製品にはない機能、コンパイラの注記: TensorFlow は現在、動的計算グラフをサポートしているようです) の処理に使用されるため、非常に有名になりました。 PyTorch が Python ディープラーニングエコシステムでどのような役割を果たすかはまだわかりませんが、すべての兆候は PyTorch がリストにある他のフレームワークの優れた代替手段であることを示しています。

アドバンテージ：