機械学習を簡単にする 5 つのオープンソース Python ライブラリ

機械学習は興味深いものですが、実際に実行するのは難しく複雑です。ワークフローとパイプラインの組み立て、データ ソースの設定、オンプレミスのリソースとクラウドに展開されたリソースの切り替えなど、多くの手作業が必要になります。

Python は、ビッグデータや機械学習で広く使用されている強力なツール言語です。機械学習への道をスムーズに進めるために役立つ、推奨される 5 つの Python ライブラリを紹介します。

ピュレン

PyWren を使用すると、Python ベースの科学計算ワークロードを複数の AWS Lambda 関数として実行できます。 The New Stack によるこのプロジェクトの以前の説明では、大量のメモリやストレージ容量を占有することなく、複数の小さなタスクに分割できるプロジェクトを処理するための強力な並列処理システムとして AWS Lamba を使用すると説明されていました。

このプロジェクトの欠点の 1 つは、Lambda 関数を 300 秒以上実行できないことです。しかし、完了までに数分しかかからず、データセット上で何千回も実行する必要があるジョブの場合は、PyWren が適しています。ユーザーのハードウェア上で実行できない作業を、ある程度クラウドに並列化できます。

Tfdeploy

Google の TensorFlow フレームワークは、バージョン 1.0 のリリース後に全盛期を迎えました。この時点で、人々は次のように尋ねています。TensorFlow 自体を使用せずに、TensorFlow でトレーニングされたモデルを使用するにはどうすればよいのでしょうか。

Tfdeploy が答えを教えてくれます。トレーニング済みの TensorFlow モデルを「シンプルな NumPy ベースの呼び出し可能オブジェクト」としてエクスポートします。つまり、モデルは Python で使用でき、Tfdeploy と NumPy の数学および統計ライブラリだけが依存関係となります。 TensorFlow で実行できるほとんどの操作は Tfdeploy でも実行でき、標準の Python メタファー (クラスのオーバーライドなど) を使用してライブラリの動作を拡張できます。

ルイージ

バッチ ジョブの作成は、大量のデータを処理する作業の一部に過ぎず、すべてのジョブを連結してワークフローやパイプラインのようなものを形成する必要もあります。

Luigi は、Spotify によって「長時間実行されるバッチ処理ジョブに関連するパイプラインの問題を解決する」ために作成されました。開発者は Luigi を使用して、Hive クエリ、Java の Hadoop タスク、Scala の Spark タスク、データベースからのテーブルのダンプなど、複数の異なる無関係なデータ処理タスクを取得し、それらをエンドツーエンドで実行するワークフローを作成できます。

タスクとその依存関係の記述全体は、XML 構成ファイルやその他のデータ形式ではなく、Python モジュールとして構築されるため、他の Python 中心のプロジェクトに統合できます。

クベリブ

Kubernetes を機械学習ジョブのオーケストレーション システムとして使用する場合、Kubernetes が解決する問題よりも多くの問題を引き起こさないことを期待します。 Kubelib は、もともと Jenkins スクリプトを支援するために設計された、Kubernetes 用の Python インターフェースのセットを提供します。ただし、Jenkins がなくても使用でき、kubectl CLI または Kubernetes API によって公開されるすべてのものを処理できます。

パイトーチ

PyTorch は、Torch7 チームによってオープンソース化された Python ファーストのディープラーニング フレームワークであり、強力な GPU アクセラレーション Tensor コンピューティング (numpy に類似) と、テープベースの自動アップグレード システム上でのディープ ニューラル ネットワークの構築という 2 つの高度な機能を提供します。必要に応じて、numpy、scipy、Cython などのお気に入りの Python パッケージを再利用して PyTorch を拡張できます。

PyTorch は、強力な GPU のパワーを活用するための numpy の代替として、またはこれまでにない柔軟性と速度を提供するディープラーニング研究プラットフォームとしてよく使用されます。