機械学習のコンテナ化: TensorFlow、Kubernetes、Kubeflow

[[253678]]

[51CTO.com クイック翻訳] 機械学習 (ML) は、パターンを識別し、将来の確率を予測するために使用されるデータ分析手法です。これは、人工知能 (AI) 研究の一部です。事前に決められた答えを持つデータを数学モデルに入力することで、コンピューターは将来の未知の入力セットを予測するように自らをトレーニングすることができます。

ML はこれまで特定のタスクの解決には成功してきましたが、より複雑なパラメータを持つデータを分析するには、簡素化された操作で大規模に展開できるモデルが必要です。このタイプの機械学習により、コンピューターははるかに大量の情報から解決策を見つけ、それを自動化できるようになります。これらの理由から、AI と ML は 2020 年までにクラウド コンピューティングの導入を推進する主な触媒になると予想されています。クラウドで利用可能な膨大な量の情報を処理するために、ML は大規模に効率的に学習し、クラウドネイティブ テクノロジー (特にコンテナ化) と統合する必要があります。

この目的のために、Google は最近、Kubernetes 上に構築された、構成可能で移植可能かつスケーラブルな ML スタックである Kubeflow の開発を発表しました。 ML モデルがコンテナーに接続し、オーバーレイではなくデータとコンピューティングを一緒に実行するためのオープンソース プラットフォームを提供します。

Kubeflow は、ML スタックの実装に伴う固有の課題の解決に役立ちます。本番環境レベルの ML ソリューションを構築するには、データをインポート、変換、視覚化し、その後、大規模なモデルの構築、検証、トレーニング、デプロイを行う必要があります。これらのスタックは異なるツールで構築されることが多く、アルゴリズムの管理が複雑になり、一貫性のない結果をもたらします。 Kubeflow 1.0 は、さまざまな ML ツール (特に TensorFlow と JupyterHub) を Kubernetes を使用したマルチクラウド環境間で簡単に転送できるスタックに組み合わせたパッケージを提供します。

テンソルフロー

Kubeflow は、オープンソース プログラミング システム TensorFlow を使用して機械学習モデルを構築します。そのソフトウェア ライブラリは、テンソル ジオメトリを使用して、ステートフル データ フロー グラフの形式でデータ間の線形関係を表します。ハードウェア プラットフォームを抽象化して、モデルを CPU (中央処理装置)、GPU (グラフィックス処理装置)、または TPU (テンソル処理装置) 上で実行できるようにします。これらを組み合わせることで、低精度の算術計算の高スループットの基盤が提供されます。この柔軟なアーキテクチャにより、デスクトップ、クラスター、サーバー、モバイル デバイスからエッジ デバイスに至るまで、さまざまなオブジェクトから情報を集約できます。

TensorFlow は使い方が難しく複雑ですが、移植性とスケーラビリティに優れたデータ管理を必要とする高度で複雑な ML モデルの作成に適しています。

ジュピターハブ

Kubeflow は、Jupyter ノートブックから直接 TensorFlow 計算グラフを実行します。 Jupyter Notebook はコンテナ対応であり、Kubernetes またはあらゆる種類のオープンソース インフラストラクチャ上で実行できます。インストールやメンテナンスのオーバーヘッドなしで、ML モデルを簡単に実装できる環境とリソースをユーザーに提供します。ドキュメント スタイルの形式では、コードとマークアップ (マークダウン) が同じファイルに埋め込まれ、計算の可視性が提供されます。 JupyterHub を使用すると、エンジニアは TensorFlow グラフをすぐに実行したり、後で使用するために保存したりできるため、TensorFlow モデルの構成をより効率的に制御できます。 Kubeflow は、共同作業とインタラクティブなトレーニングに JupyterHub を活用しています。

Kubeflow のスタックには、TensorFlow モデルの実行を補完する他のソリューションがいくつか含まれています。 Argo はワークフローのスケジューリングに使用され、SeldonCore は複雑な推論と非 TensorFlow Python モデルに使用され、Ambassador はリバース プロキシとして使用されます。このスタックは Kubernetes と統合されており、エンジニアは大規模な ML モデルを効率的に開発、トレーニング、デプロイできます。

クベネフィット

Kubernetes は信頼性の高いオープンソースのコンテナ オーケストレーション ツールです。アプリケーション設計をモジュール式で移植可能かつスケーラブルなマイクロサービスに標準化し、複雑なワークロードをさまざまな環境に展開できるようにします。豊富な API を使用して、多くの操作機能を自動化します。 Kubeflow のプラットフォームは Kubernetes を活用して TensorFlow モデルの操作を簡素化し、その実行をクラウドネイティブにします。

• 移植性とスケーラビリティ: Kubernetes を使用すると、TensorFlow モデルをマイクロサービスとしてモジュール方式で管理できるため、移植性とスケーラビリティが向上します。さまざまな環境、プラットフォーム、クラウド プロバイダー間で簡単に移動できます。従来、ML スタックは移植可能ではなく、モデルとそれに関連する依存関係をラップトップからクラウド クラスターに移行するプロセスでは、再設計に関して多大な作業が必要になります。 Kubeflow を使用すると、これらのアルゴリズムは実行と同じ速さでデータにアクセスできます。
• 自動化と操作の容易さ: Kubernetes は、マイクロサービスを管理するための宣言型 API の豊富なライブラリを提供し、アプリケーションがエンドツーエンドの自動化を採用するのに役立ちます。 Kubernetes は、従来は時間のかかるリソース管理、ジョブの割り当て、その他の運用上の懸念事項を処理します。 Kubeflow を使用すると、エンジニアは運用の管理ではなく ML アルゴリズムの作成に集中できます。

クラウドには大量の情報がありますが、そのすべてが機械学習に利用できるわけではありません。 Kubeflow 1.0 は、クラウド内の増え続けるデータ量に ML が対応できることを約束します。 ML をコンテナ オーケストレーション レイヤーに統合し、モデルの操作性、スケーラビリティ、移植性を向上させます。迅速かつ簡単に導入できる、完全なコンテナ化されたスタックを提供します。 Kubeflow 1.0 を使用すると、信頼性が高く包括的なスタックを使用して、コンピューターがはるかに多くのデータセットで自己トレーニングできるようになります。 Kubernetes を理解することは、Kubeflow を使用して ML モデルをシームレスにデプロイするための第一歩です。

原題: 機械学習のコンテナ化: TensorFlow、Kubernetes、Kubeflow、著者: Syed Ahmed

[51CTOによる翻訳。パートナーサイトに転載する場合は、元の翻訳者と出典を51CTO.comとして明記してください]