コンテナ化された機械学習モデルの作成

[[252634]]

データ サイエンティストは機械学習モデルを作成した後、それを本番環境にデプロイする必要があります。さまざまなインフラストラクチャで実行するには、コンテナを使用し、REST API を通じてモデルを公開するのが、機械学習モデルをデプロイする一般的な方法です。この記事では、Podman コンテナで Connexion を使用して、REST API で TensorFlow 機械学習モデルを起動する方法を説明します。

準備する

まず、次のコマンドで Podman をインストールします。

 sudo dnf - y install podman

次に、コンテナ用の新しいフォルダーを作成し、そのディレクトリに移動します。

 mkdir deployment_container && cd deployment_container

TensorFlow モデル用の REST API

次のステップは、機械学習モデル用の REST API を作成することです。この github リポジトリには、事前トレーニング済みのモデルと、REST API を動作させるためのセットアップが含まれています。

次のコマンドを使用して、 deployment_containerディレクトリにクローンを作成します。

 git clone https : //github.com/svenboesiger/titanic_tf_ml_model.git

prediction.py と ml_model/

prediction.py は Tensorflow 予測を実行し、20x20x20 ニューラル ネットワークの重みはフォルダー ml_model/ にあります。

swagger.yaml

swagger.yaml は、Swagger 仕様を使用して Connexion ライブラリ API を定義します。このファイルには、サーバーが入力パラメータの検証、出力応答データの検証、および URL エンドポイントの定義を提供するために必要なすべての情報が含まれています。

さらに、Connexion は、JavaScript を使用して API を呼び出し、DOM を更新する方法を示す、シンプルでありながら便利なシングルページ Web アプリケーションを提供します。

 swagger : "2.0"
 info :
 description : This is the swagger file that goes with our server code
 version : "1.0.0"
 title : Tensorflow Podman Article
 consumes :
  - "application/json"
 produces :
  - "application/json"
 basePath : "/"
 paths :
  / survival_probability :
 post :
 operationId : "prediction.post"
 tags :
        - "Prediction"
 summary : "The prediction data structure provided by the server application"
 description : "Retrieve the chance of surviving the titanic disaster"
 parameters :
        - in : body
 name : passenger
 required : true
 schema :
 $ref : '#/definitions/PredictionPost'
 responses :
        '201' :
 description : 'Survival probability of an individual Titanic passenger'
 definitions :
  PredictionPost :
 type : object

server.py と requirements.txt

server.py は、Connexion サーバーを起動するためのエントリ ポイントを定義します。

 import connexion
 app = connexion . App ( __name__ , specification_dir = './' )
 app . add_api ( 'swagger.yaml' )
 if __name__ == '__main__' :
 app . run ( debug = True )

requirements.txt は、プログラムを実行するために必要な Python パッケージを定義します。

 connexion
 tensorflow
 pandas

コンテナ化しましょう！

Podman でイメージをビルドするには、上記の準備手順で作成したdeployment_containerディレクトリにDockerfileという新しいファイルを作成します。

 FROM fedora : 28
 # File Author / Maintainer
 MAINTAINER Sven Boesiger < donotspam@ujelang . com >
 # Update the sources
 RUN dnf - y update -- refresh
 # Install additional dependencies
 RUN dnf - y install libstdc ++
 RUN dnf - y autoremove
 # Copy the application folder inside the container
 ADD / titanic_tf_ml_model / titanic_tf_ml_model
 # Get pip to download and install requirements :
 RUN pip3 install - r / titanic_tf_ml_model / requirements . txt
 # Expose ports
 EXPOSE 5000
 # Set the default directory where CMD will execute
 WORKDIR / titanic_tf_ml_model
 # Set the default command to execute
 # when creating a new container
 CMD python3 server . py

次に、次のコマンドを使用してコンテナ イメージをビルドします。

 podman build - t ml_deployment .

コンテナの実行

コンテナ イメージがビルドされ準備ができたら、次のコマンドを使用してローカルで実行できます。

 podman run - p 5000 : 5000 ml_deployment

Swagger/Connexion UI にアクセスしてモデルをテストするには、Web ブラウザに http://0.0.0.0:5000/ui と入力します。

もちろん、アプリケーション内の REST API を介してモデルにアクセスすることもできます。