TensorFlow から Theano まで: 7 つのディープラーニング フレームワークの水平比較

[[183874]]

ディープラーニング プロジェクトを開始する前に、適切なフレームワークを選択することが非常に重要です。最近、データ サイエンス企業 Silicon Valley Data Science のデータ エンジニアである Matt Rubashkin (カリフォルニア大学バークレー校博士) が、7 つの人気のディープラーニング フレームワークの詳細な比較を発表しました。この記事がお役に立てば幸いです。

SVDS の R&D チームは、画像認識から音声認識まで、さまざまなディープラーニング技術を研究しており、さまざまなフレームワークで多数のアプリケーションを実装してきました。このプロセスの中で、データを取得し、モデルを作成し、これらのモデルのパフォーマンスを評価するための簡潔な方法が必要であることに気付きました。しかし、私たちが新しいディープラーニング プロジェクトを何度も開始するときに、どのように開始すればよいかを示す参照標準がこれまで見つかりませんでした。

そこで、オープンソース コミュニティに貢献し、新規参入者を支援するために、私たちの経験に基づいて、いくつかの一般的なツール (Theano、TensorFlow、Torch、Caffe、MXNet、Neon、CNTK) を比較することにしました。以下の表は、さまざまなディープラーニングツールの長所と短所を示しています。皆様のお役に立てれば幸いです。

まず結論から

この比較は、さまざまな公開ベンチマークと、画像/音声認識アプリケーションにおけるこれらのテクノロジーに対する当社独自の主観的な印象に基づいています。さらに、次の点に注意する必要があります。

言語

ディープラーニング プロジェクトを開始するときは、使い慣れた言語をサポートするフレームワークを使用するのが最適です。たとえば、Caffe (C++) と Torch (Lua) は限られた数の言語のみをサポートしています (これは最近 PyTorch の登場により変わりました)。そのため、上記 2 つのフレームワークを使用する場合は、事前に C++ または Lua 言語に精通しておくことをお勧めします。対照的に、TensorFlow と MXNet は豊富な多言語サポートを備えており、C++ に慣れていなくても使用できます。

チュートリアルとリソース

現在、さまざまなディープラーニング フレームワークで利用できるチュートリアルとリソースの質と量には大きな違いがあります。 Theano、TensorFlow、Torch、MXNet には非常に詳細なドキュメント チュートリアルがあり、初心者でも簡単に理解して実装できます。比較すると、Microsoft の CNTK や Intel の Nervana Neon も強力なツールですが、それらに関する初心者レベルの情報はほとんど見かけません。さらに、調査の過程で、GitHub コミュニティの参加は、さまざまなツールの開発レベルを正確に評価するために使用できるだけでなく、StackOverflow やリポジトリの Git Issues を検索したときに問題が迅速に解決できるかどうかの参考指標にもなることがわかりました。もちろん、Google が提供するフレームワークとして、TensorFlow はチュートリアル、リソース、開発者、コミュニティ貢献者の数で当然リードしています。

CNNモデリング機能

畳み込みニューラル ネットワーク (CNN) は、画像認識、推奨エンジン、自然言語認識などのアプリケーションでよく使用されます。 CNN は、実行時に入力データを定義済みのカテゴリにスコア付けする多層ニューラル ネットワークのセットで構成されています。 CNN は、自動運転車のステアリング角度のモデル形成などの回帰分析にも使用できます。ベンチマークでは、モデルを定義する機会空間、事前に構築されたレイヤーの可用性、これらのレイヤーを接続するために使用できるツールと機能など、いくつかの特性を考慮してフレームワークの CNN モデリング機能を評価します。 Theano、Caffe、MXNet はいずれも優れた CNN モデリング機能を備えていることがわかりました。その中で、TensorFlow は構築しやすい Inception V3 モデルにより CNN モデリング機能で際立っており、Torch は使いやすい時間的畳み込みセットを含む豊富な CNN リソースにより CNN モデリング機能で際立っています。

RNNモデリング機能

リカレント ニューラル ネットワーク (RNN) は、音声認識、時系列予測、画像キャプション作成、および順次情報の処理を必要とするその他のタスクでよく使用されます。 CNN ほど多くの事前構築された RNN モデルは存在しないため、すでに RNN ディープラーニング プロジェクトがある場合は、古い RNN モデルがどのフレームワークに実装されているかを優先することが最も重要です。現在、Caffe には RNN リソースがほとんどありませんが、Microsoft の CNTK と Torch には豊富な RNN チュートリアルと構築済みモデルがあります。もちろん、人気の TensorFlow にも RNN リソースがいくつかあり、TFLearn や Keras には TensorFlow を使用した RNN の例が多数あります。

建築

特定のフレームワークで新しいモデルを構築してトレーニングするには、使いやすくモジュール化されたフロントエンドが不可欠です。 TensorFlow、Torch、MXNet はすべて直感的でモジュール式のアーキテクチャを備えているため、開発が比較的簡単になります。対照的に、Caffe のようなフレームワークで新しいレイヤーを作成するには、多くの作業を行う必要があります。さらに、開発プロセスでは、TensorBoard Web GUI などのアプリケーションが存在するため、トレーニング中およびトレーニング後に TensorFlow をデバッグおよび監視することが非常に簡単であることがわかりました。

スピード

TorchとNervanaはオープンソースの畳み込みニューラルネットワークベンチマークで最高のパフォーマンスを発揮

Tensorflowのパフォーマンスはほとんどのテストで競争力があるが、CaffeとTheanoはわずかに遅れをとっている。

Microsoft は、一部の RNN トレーニング タスクでは CNTK が最速であると主張しています。

Theano、Torch、TensorFlow の RNN パフォーマンスを比較した別の調査では、Theano が最速でした。

ほとんどのディープラーニング アプリケーションでは、膨大な数の浮動小数点演算 (FLOP) が必要です。たとえば、Baidu の DeepSpeech 認識モデルでは、トレーニングに 10 エクサフロップスが必要であり、これは 10e18 を超える計算量になります。

現在の NVIDIA Pascal アーキテクチャ TitanX およびその他の高度なグラフィック カードは、1 秒あたり 11e9 FLOP を実行できることを考慮に入れます。

したがって、単一の GPU マシンを使用して大規模なデータセットで新しいモデルをトレーニングする必要がある場合は、最大 1 週間かかる可能性があります。モデルの構築にかかる時間を短縮するために、複数の GPU を並列に使用する独自のマシンを構築する必要があります。幸いなことに、上記のアーキテクチャのほとんどは、マルチ GPU コンピューティングを非常に適切にサポートしています。その中でも、MXNet は最高のマルチ GPU 最適化エンジンを備えていると報告されています。

Keras の互換性

Keras は、迅速なディープラーニングのプロトタイピングのための高レベル ライブラリです。実際に、データ サイエンティストがディープラーニングを適用する上で、これが優れた助けとなることがわかりました。 Keras は現在、TensorFlow と Theano の 2 つのバックエンド フレームワークをサポートしており、Keras はまもなく TensorFlow のデフォルト API になります。

それにもかかわらず、Keras の作者は、この高レベルライブラリは複数のフレームワークをサポートするフロントエンドとして将来も存在し続けるだろうと述べています。

要約する

ディープラーニングを始める場合は、まずチームのスキルとビジネスニーズを評価する必要があります。たとえば、Python 中心のチームが画像認識アプリケーションを開発したい場合は、豊富なリソース、優れたパフォーマンス、完全なプロトタイピング ツールを備えた TensorFlow を使用する必要があります。 Lua 機能を備えたチームが RNN を大規模な本番環境に適用したい場合、Torch の高速で強力な RNN モデリング機能のメリットを享受できます。

今後は、より大規模なアプリケーションにおけるこれらのフレームワークのパフォーマンスについて引き続き議論していきます。これらの課題には、複数のマシンが並列に接続されている場合のマルチ GPU の最適化や、CMU Sphinx や Kaldi などの複数のオープン ソース ライブラリとの互換性が含まれます。お楽しみに。