Kubernetes にディープラーニング モデルをデプロイする方法

• Kubermatic Kubernetes プラットフォームを使用して、画像認識予測用のディープラーニング モデルをデプロイ、スケーリング、管理する方法を学びます。

企業が人工知能 (AI)、機械学習 (ML)、ディープラーニング (DL) の利用を増やすにつれて、機械学習開発をどのように拡張し、産業化するかという重要な疑問が生じます。これらの議論は、多くの場合、機械学習モデル自体に焦点を当てていますが、モデルは完全なソリューションの一部にすぎません。本番環境での導入と拡張を実現するには、モデル開発プロセスに、開発前と開発後の主要なアクティビティと公開可能なプロセスを説明する繰り返し可能なプロセスも含める必要があります。

この記事では、Kubermatic Kubernetes プラットフォームを使用して、画像認識予測用のディープラーニング モデルをデプロイ、スケーリング、管理する方法を説明します。

[[421057]]

Kubermatic Kubernetes プラットフォームは、柔軟性と自動化、機械学習/ディープラーニング ワークフローとの統合、完全なクラスター ライフサイクル管理を提供する、本番環境レベルのオープン ソース Kubernetes クラスター管理ツールです。

始める

この例では、画像認識用のディープラーニング モデルをデプロイします。これは、10 のカテゴリに属する​​ 60,000 枚の 32x32 カラー画像を含む CIFAR-10 データセットを使用し、高速コンピューティングに Apache MXNet の Gluon と NVIDIA GPU を使用します。 CIFAR-10 データセットで事前トレーニング済みのモデルを使用する場合は、入門ガイドを参照してください。

トレーニング セットのサンプルを使用して、モデルを 200 回トレーニングします。トレーニング エラーがゆっくりと減少し続ける限り、モデルは過剰適合されません。次の図はトレーニング プロセスを示しています。

トレーニング後、モデル トレーニングから取得したパラメーターは、後で読み込むことができるように保存する必要があります。

ファイル名 = "net.params"  
 net.save_parameters(ファイル名)

モデルのトレーニングが完了したら、それを Flask サーバーでラップできます。次のプログラムは、リクエスト内のパラメータとして画像を受け取り、モデルの予測結果をレスポンスで返す方法を示しています。

 gluoncv.model_zooからget_model をインポートします
matplotlib.pyplot をpltとしてインポートします。
 mxnetからgluon、nd、image をインポート
mxnet.gluon.data.visionから変換をインポートする
gluoncvからutilsをインポート
PIL インポート画像から
インポートio
輸入フラスコ
アプリ = flask.Flask(__name__)
 @app.route( "/predict" 、メソッド=[ "POST" ])
 def 予測():
    flask.request.method == "POST"の場合:
        flask.request.files.get( "img" )の場合:
           img = Image.open (io.BytesIO(flask.request.files[ "img" ]. read ()))
            transform_fn = transforms.Compose([
            変換.サイズ変更(32)
            変換.CenterCrop(32)、
            変換.ToTensor()、
            変換.Normalize([0.4914, 0.4822, 0.4465], [0.2023, 0.1994, 0.2010])])
            img = transform_fn(nd.array(img))
            ネット = get_model( 'cifar_resnet20_v1' 、クラス=10)
            net.load_parameters( 'net.params' ) は、
            pred = ネット(img.expand_dims(axis=0))
            class_names = [ '飛行機' , '自動車' , '鳥' , '猫' , '鹿' ,
 [「犬」 、 「カエル」 、 「馬」 、 「船」 、 「トラック」 ]
            ind = nd.argmax(pred, axis=1).astype( 'int' )
            prediction = '入力画像は [%s] に分類され、確率は %.3f です。' %
                         (クラス名[ind.asscalar()]、nd.softmax(pred)[0][ind].asscalar())
リターン予測
__name__ == '__main__'の場合:
   app.run(ホスト = '0.0.0.0' )

コンテナ化モデル

モデルを Kubernetes にデプロイする前に、Docker をインストールし、モデルを含むイメージを作成する必要があります。

Docker をダウンロード、インストールして起動します。

 sudo yum install -y yum-utils デバイスマッパー永続データ lvm2
 sudo yum-config-manager --add-repo <https://download.docker.com/linux/centos/docker-ce.repo>  
 sudo yum で docker-ce をインストールします
sudo systemctl dockerを起動します

コードと依存関係を管理するフォルダーを作成します。

 mkdir kubermatic-dl
 kubermatic-dl の CD

コードの実行に必要なすべての依存関係を管理するには、 requirements.txt ファイルを作成します。

フラスコ
グルオン
マットプロット
MXネット
リクエスト
枕

Dockerfile を作成すると、Docker はこのファイルに基づいてイメージを作成します。

 Python:3.6から
ワークディレクトリ /app
 requirements.txt /app をコピーする
pip install -r ./requirements.txt を実行します。
 app.py /app をコピーする
コマンド [ "python" 、 "app.py" ]

この Dockerfile は 3 つの主要な部分に分けられます。まず、Docker は Python のベースイメージをダウンロードします。次に、Docker は Python のパッケージ管理ツール pip を使用して、requirements.txt に記録されているパッケージをインストールします。最後に、Docker は python app.py を実行してスクリプトを実行します。

Docker コンテナをビルドします。

 sudo docker build -t kubermatic-dl:latest を実行します。

このコマンドは、kubermatic-dl イメージを使用して、現在の作業ディレクトリにコード用のコンテナーを作成します。

使用

sudo docker run -d -p 5000:5000 kubermatic-dl

このコマンドは、コンテナがホスト上で適切に実行できるかどうかを確認します。

使用

sudo docker ps -a

ローカル コンテナの実行ステータスを表示するコマンド:

コンテナの実行ステータスを表示する

モデルをDocker Hubにアップロードする

モデルを Kubernetes にデプロイする前に、まずイメージを一般公開する必要があります。モデルを Docker Hub にアップロードすることで公開できます。 (Docker Hub アカウントをお持ちでない場合は、まずアカウントを作成する必要があります)

ターミナルで Docker Hub アカウントにログインします。

 sudo dockerログイン

イメージにタグを付けると、Docker Hub にアップロードされた後にモデルにバージョン情報が含まれるようになります。

 sudo docker tag <イメージID> <dockerハブ名>/<アプリ名>
 sudo docker push <Docker ハブ名>/<アプリ名>

画像にタグを付ける

使用

sudo docker イメージ

イメージの ID を確認するコマンド。

モデルをKubernetesクラスターにデプロイする

まず、Kubermatic Kubernetes プラットフォームでプロジェクトを作成し、クイック スタート ガイドに従って Kubernetes クラスターを作成します。

Kubernetes クラスターを作成する

クラスターにアクセスするための kubeconfig をダウンロードし、ダウンロード ディレクトリに配置します。環境がそれを見つけられるように、適切な環境変数を設定することを忘れないでください。

Kubernetes クラスターの例

kubectl コマンドを使用して、クラスター情報を確認します。たとえば、クラスター内で kube-system が正常に起動されているかどうかを確認する必要がある場合は、kubectl cluster-info コマンドを使用できます。

クラスターでコンテナを実行するには、デプロイメント構成ファイル (deployment.yaml) を作成し、apply コマンドを実行してクラスターに適用する必要があります。

 APIバージョン: アプリ/v1
種類: デプロイメント
メタデータ:
名前: kubermatic-dl-deployment
仕様:
  セレクタ：
    一致ラベル:
      アプリ: kubermatic-dl
  レプリカ: 3
  テンプレート：
    メタデータ:
      ラベル:
        アプリ: kubermatic-dl
    仕様:
     コンテナ:
     -名前: kubermatic-dl
       画像: kubermatic00/kubermatic-dl:latest
       imagePullPolicy: 常に
       ポート:
       - コンテナポート: 8080

 kubectl apply -f デプロイメント.yaml`

デプロイメントをパブリック インターネットに公開するには、コンテナーに対して外部からアクセス可能な IP アドレスを作成できるサービスが必要です。

 kubectl 公開デプロイメント kubermatic-dl-deployment --type=LoadBalancer --port 80 --target-port 5000`  

もうすぐ完了です。まずはデプロイしたサービスのステータスを確認し、IP 経由で画像認識 API をリクエストします。

 kubectl サービスを取得する

最後に、外部 IP に基づいて次の 2 つの画像を使用して画像認識サービスをテストします。

[[421059]]

[[421060]]

要約する

このチュートリアルでは、ディープラーニング モデルを作成し、Flask を使用して REST API として提供します。アプリケーションを Docker コンテナに配置する方法、このイメージを Docker Hub にアップロードする方法、Kubernetes を使用してサービスをデプロイする方法について説明します。いくつかの簡単なコマンドを実行するだけで、Kubermatic Kubernetes プラットフォームを使用してアプリケーションをデプロイし、他のユーザーがサービスを利用できるようにすることができます。