TensorFlow レビュー: 最高のディープラーニングライブラリ、そして今も進化中

[51CTO.com クイック翻訳] バージョン r1.5 のリリースにより、Google のオープンソース機械学習およびニューラルネットワークライブラリは、機能がさらに強力になり、成熟度が高まり、学習と使用の障壁が低くなりました。

[[218438]]

昨年、TensorFlow ディープラーニングフレームワークに注目していたなら、始めるのが非常に難しく、成熟度も限られていることに気づいたでしょう。しかし現在、Google が作成したこのソリューションは完全に変化しました。

2016 年 10 月に TensorFlow r0.10 をレビューして以来、Google のオープンソースディープラーニングフレームワークはより成熟し、アルゴリズムやデプロイメントオプションが増え、プログラミングがはるかに簡単になりました。 TensorFlow は現在、r1.4.1 (安定バージョンと Web ドキュメント)、r1.5 (候補リリース)、およびプレリリース r1.6 (マスターブランチとデイリービルド) で利用できます。

TensorFlow プロジェクトは非常に動的です。大まかな計算によると、GitHub 上の TensorFlow ライブラリには現在、27,000 件のコミット、85,000 件の星評価、42,000 件のフォークがあります。これらの数字は印象的で、TensorFlow プロジェクトに対する関心の高さを反映しており、Node.js ライブラリの人気を上回っています。対照的に、Amazon が支援する別の競合フレームワークである MXNet は、比較的活動が鈍く、コミット数は 7,000 未満、スター数は約 13,000、フォーク数は 5,000 未満です。2017 年 2 月の TensorFlow r1.0 リリースの別の統計によると、TensorFlow は現在 6,000 を超えるオンラインオープンソースコードリポジトリで使用されています。

今日のレビューでは、2018 年 1 月時点の TensorFlow の現状に焦点を当てながら、過去 1 年間に追加された重要な機能についても説明します。

TensorFlow関数

TensorFlow は、手書き数字の分類、画像認識、単語の埋め込み、再帰型ニューラルネットワーク、シーケンス間機械翻訳モデル、自然言語処理、PDE (偏微分方程式) ベースのシミュレーションを実装できます。さらに、CPUとNVIDIA GPUもサポートしています。シーケンスツーシーケンスプロジェクトは、Ubuntu Linux、MacOS、Android、iOS、および Windows で実行されます (以前よりもはるかに優れています)。また、トレーニングで使用されるモデルと組み合わせて、より柔軟に大規模な生産予測をサポートします。さらに、自動微分機能も保持され、TensorBoard でモデル視覚化ツールが提供され、Python 言語が完全にサポートされます (R および Scala プログラマーには申し訳ありません)。

TensorFlow はバージョン r0.10 以降、多数の改善、機能強化、追加機能をリリースし、さまざまなバグを修正しました。以下では、いくつかの重要な問題について説明します。たとえば、各バージョンでは CUDA および cuDNN ライブラリのサポートがアップグレードされ、最新の NVIDIA GPU を使用してコードを最適化し、パフォーマンスを向上させています。さらに、DHFS (Hadoop File System) サポートも実装され、Windows 実装が改善され、新しいソルバーとより優れた Go サポートが導入されています。数か月の期待の後、TensorFlow グラフのパフォーマンスを向上させるための専用コンパイラである XLA と TensorFlow デバッガーがリリースされました。同時に、TensorFlow プロジェクトは、PyPl や pip などの標準的な Python インフラストラクチャとの統合も強化され、科学計算で広く使用されている NumPy ツールキットにも適合できるようになりました。

また、RNN（自然言語処理で一般的に使用されるリカレントニューラルネットワーク）のサポートと、ディープラーニングの分野で CPU パフォーマンスを大幅に向上させる新しい Intel MKL（Math Kernel Library）統合機能も搭載されています。プログラミングの容易さの点では、複数の回帰器や分類器を含む組み込み推定器 (定義済みモデルレイヤー) が追加されました。統計分布、信号処理プリミティブ、画像の微分可能な再サンプリングのためのいくつかの新しいライブラリが TensorFlow に追加されました。 Keras は、TensorFlow (専用の高レベルニューラルネットワーク API を提供し、MXNet、Deeplearning4j、Microsoft Cognitive Tooltit、Teano でも実行可能) の特定の実装として開発されました。コミュニティ開発プロセスでは、現在、優れた実用的な結果を提供できることが示されています。複数の関連する貢献モジュールがカーネルライブラリに組み込まれており、実稼働展開の最適化を実現できるサーバーライブラリのセットもあります。

TensorFlow プロジェクトには、下位互換性のあるトレーニングデータセットのライブラリがあります。これは、標準のトレーニングデータセットを使用して新しいモデルを開発する上で重要です。さらに、Java サポートも何度か実装され、強化されてきました。 ***、TensorFlow r 1.5 では、Eager Execution (TensorFlow が NumPy などの命令型プログラミングスタイルをサポートできるようにする実験的なインターフェース) と TensorFlow Lite (モバイルデバイスと組み込みデバイスの予測機能を有効にする) のプレビューバージョンが正式に利用可能になりました。

TensorFlow のインストール

全体的に、TensorFlow のインストール方法が大幅に改善されました。これまでと同様に、TensorFlow では、Python 仮想環境、「ネイティブ」 pip、Docker、ソースからのビルドなど、複数のインストール方法が提供されています。 TensorFlow チームは、インストールに仮想環境を使用することを推奨しています。私は個人的に「ネイティブ」 pip を使用することを選択しました。これは、MacBook Pro にインストールされていて、ディスク容量が不足したときにアンインストールする手間を省きたかったからです。

IDG

Mac 用の TensorFlow のナイトリービルドをインストールするのは、比較的新しいインストールオプションですが、うまく機能します。インストール/アップグレード後、標準の TensorFlow 機能を使用してインタラクティブにテストしました。

リリースバイナリに加えて、TensorFlow チームは現在、Linux、Mac、Windows 用のマスターブランチのナイトリービルドを提供しています。 Mac での Nightly インストールは、次のコマンドで簡単に実行できます。

 sudo pip tf-nightly をインストールします

現在のマスターブランチのドキュメントでは、3 つのプラットフォームすべてに対して CPU および GPU ライブラリバージョンのナイトリービルドが存在すると記載されていますが、Mac-pip を使用して Mac プラットフォームの GPU バージョンを見つけてインストールすることはできませんでした。私の経験では、Mac GPU バージョンはインストールを試みても成功しません。Mac GPU バージョンが正式に廃止されたのは、r 1.2 になってからです。 r1.6 で Mac GPU バージョンを復元する予定があるかどうか、または TensorFlow チームによってリリースされたナイトリービルドのドキュメントにエラーがあるかどうかはわかりません。いずれにせよ、現在のインストール条件を変更せずに、現在の GPU バージョンのクイックインストール効果は確かに以前よりも優れています。

それでも、MacBook Pro は TensorFlow を使用したディープラーニングモデルのトレーニングに最適なデバイスではないことは明らかです。新しいハイエンド NVIDIA GPU を 1 つ以上搭載した Linux ボックスを使用すると、さらに優れた結果を達成できます。あるいは、数千ドルでディープラーニング専用の PC を独自に構築することもできます。モデルを時々トレーニングする必要がある場合は、AWS、Azure、Google Compute Engine、または IBM Cloud 上の GPU を搭載したインスタンスで TensorFlow を簡単に実行できます。

TensorFlowの使用

1 年前、TensorFlow プロジェクトには 2 つの大きな問題がありました。学習が難しく、記述するコードが多すぎることです。今日、これらの問題は両方とも解決されました。

TensorFlow の学習のハードルを低くするために、TensorFlow チームはより多くの学習教材を作成し、既存の入門チュートリアルを改善しました。さらに、一部のサードパーティは独自の TensorFlow チュートリアルを公開しています。さらに、TensorFlow に関する書籍も多数出版されており、高度な TensorFlow コースも多数あります。スタンフォード大学の TensorFlow for Deep Learning Research (CS 20) コースを受講することもできます。このコースでは、すべてのプレゼンテーションと講義ノートをオンラインで利用できます。

TensorFlow ライブラリに新たに追加されたいくつかの機能では、コーディングの手間が少ないモデルの作成とトレーニングのためのインターフェースも提供され始めています。これらには、エンジン中立の Keras ツールキットの純粋な TensorFlow バージョンを提供する tf.kera や、さまざまな高度なモデル処理関数 (線形、ディープニューラルネットワーク (DNN) 用の回帰関数と分類関数、線形と DNN の組み合わせ、および独自の推定器を構築するための基本クラス) を提供する tf.estimator が含まれます。さらに、Dataset API を使用すると、ユーザーはシンプルで再利用可能な部分から複雑な入力パイプラインを構築できるため、どちらか一方を選択する必要がなくなります。 TensorFlow-Keras チュートリアルで述べたように、tf.keras、tf.data.dataset、tf.estimator を簡単に組み合わせて使用できます。

テンソルフローライト

TensorFlow Lite は現在、開発者プレビュー段階にあります。これは、モバイルデバイスや組み込みデバイスで実行できる TensorFlow の軽量バージョンであり、低レイテンシと低リソース要件 (トレーニングではない) でデバイス上の機械学習推論を可能にします。 TensorFlow Lite は、Android Neural Networks API のハードウェアアクセラレーションもサポートしています。 TensorFlow Lite モデルはモバイルデバイスで実行できるほど小さく、オフラインでのユースケースもサポートします。

IDG

TensorFlow Lite を使用すると、コンパクトなニューラルネットワークモデルを Android および iOS デバイスでオフラインでも実行できます。このライブラリは現在開発者プレビュー段階であり、上位互換性または下位互換性は保証されていません。

TensorFlow Lite の基本的な考え方は、ユーザーが完全な TensorFlow モデルをトレーニングし、それを TensorFlow Lite 形式に変換すると、変換されたファイルを Android または iOS 上のモバイルアプリケーションで使用できるようになるというものです。

もちろん、事前トレーニング済みの TensorFlow Lite モデルを使用して、画像分類やインテリジェントな返信を実装することもできます。スマートリプライはコンテキスト情報を使用して関連性の高いメッセージを提供します。これは、Google が Gmail クライアントで提供する返信予測機能と基本的に同じです。

もう 1 つの使用オプションは、新しいラベル付きデータセットを使用して既存のモデルを再トレーニングすることです。これにより、トレーニング時間が大幅に短縮されます。

TensorFlow サービング

TensorFlow Serving は、機械学習モデル向けに特別に設計され、実稼働環境に適した、柔軟で高性能なサービングシステムです。単一のモデルを提供するだけでなく、複数のバージョンの servable を同時に使用することもできます。クライアントは最新バージョンを直接使用したり、特定のバージョン ID に基づいて特定のモデルを呼び出したりします。これにより、新しいアルゴリズムを試すための実験プロセスが大幅に簡素化されます。

複合モデルを複数の独立したサーバブルとして、または単一の複合サーバブルとして表すこともできます。 servable へのアクセスはソースによって制御され、ソースは任意のストレージシステムから servable を検出できます。

TensorFlow 熱心な

Eager Execution は TensorFlow に導入された実験的なインターフェースで、NumPy に似た命令型プログラミングスタイルを提供します。即時実行を有効にすると、TensorFlow 操作が直ちに実行されます。つまり、事前に構築されたグラフを実行するために Session.run() を使用する必要はありません。

このアプローチは TensorFlow 行列演算とモデルコードを効果的に簡素化できますが、現時点では上位および下位互換性が保証されたプレビュー/予備バージョンは提供されていません。実行中のセッションと比較して、Eager 実行では TensorFlow コードのデバッグプロセスも効果的に簡素化されます。

即時実行は、NumPy 配列、GPU アクセラレーション、自動微分化、および tf.layers モジュールで使用される Keras スタイルのレイヤークラスと互換性があります。サマリーを公開して TensorBoard で使用することはできますが、サマリークラスの新しい分散バージョンを使用する必要があります。熱心な実行に関するドキュメントでは、「分散型およびマルチ GPU トレーニングと CPU パフォーマンスのサポートに引き続き積極的に取り組んでいます」と警告しています。

TensorFlowとその他の競合製品

全体として、TensorFlow は常に機械学習とディープラーニングフレームワークの最前線にあります。前述したように、過去 1 年間で、TensorFlow はパフォーマンス、デプロイメント、学習と使用の容易さ、プログラミングの容易さ、一般的な Python ライブラリおよびユーティリティとの互換性において大きな改善を遂げてきました。

しかし、同じ期間に、他の競合するディープラーニングフレームワークも改善を続けました。 MXNet は Apache Foundation に組み込まれ、機能とパフォーマンスの向上を実現しました。 Microsoft Cognitive Toolkit も、Keras や TensorBoard のサポートなど、多くの面で進歩を遂げています。 Facebook の Caffe2 は Caffe を大幅に書き直したもので、画像処理畳み込みネットワークにおける再帰ネットワークと LSTM (長短期記憶) ネットワークのサポートが追加されています。

オープンソースの H2O.ai 予測エンジンは、優れた独自のハイパーパラメータ調整と機能エンジニアリングレイヤーによって強化され、リソースを大量に消費しながらもコスト効率に優れた機能エンジニアリングレイヤーである Drverless AI を導入しました。 Scikit-learn は、機械学習（ディープラーニングではない）というニッチな分野で成長を続けています。 Spark MLlib は、すでに Spark を使用しており、ディープニューラルネットワークをトレーニングする必要がないユーザーにとっても適した選択肢です。

TensorFlow プログラミングに必要なスキルがあれば、TensorFlow は間違いなくディープラーニングモデルの構築、トレーニング、および制作に最適な選択肢です。ただし、TensorFlow を初めて使用する場合は、まず tf.keras、tf.data.dataset、tf.estimator によって提供される高レベル API を試してください。低レベルの API が必要な場合は、スムーズに使用できるようになる前に、プラットフォームにさらに慣れる必要がある場合があります。

コスト: Apache Licesne 2.0 に基づく無料のオープンソースプロジェクト。

適用可能なプラットフォーム: Ubuntu 14.04+、MacOS 10.11+、Windows 7+、NVIDIA GPU および CUDA が推奨されます。現在、ほとんどのクラウドソリューションは、NVIDIA GPU で使用するために TensorFlow をサポートしています。 TensorFlow Lite は、Android および iOS デバイスで事前トレーニング済みのモデルを実行できます。