TensorFlow でトレーニングしたモデルを保存および復元する方法

ディープ ニューラル ネットワーク モデルの複雑さが非常に高い場合、保有するデータの量、モデルを実行しているハードウェアなどに応じて、トレーニングにかなりの時間がかかることがあります。ほとんどの場合、中断した（またはミスをした）場合でもミスなく中断したところから続行できるように、ファイルを保存して実験の安定性を確保する必要があります。

さらに重要なのは、TensorFlow のようなディープラーニング フレームワークでは、トレーニングが成功した後、モデルの学習したパラメータを再利用して新しいデータに対する予測を行う必要があることです。

[[208282]]

この記事では、TensorFlow モデルを保存および復元する方法について説明します。最も便利な方法を紹介し、いくつかの例を示します。

1. まずTensorFlowモデルを簡単に紹介します

TensorFlow の主な機能は、NumPy の多次元配列に似たテンソルを通じて基本的なデータ構造を伝達し、グラフがデータ計算を表すことです。これはシンボリック ライブラリであり、グラフとテンソルを定義するとモデルのみが作成され、具体的な値の取得とテンソルの操作はセッションで実行され、グラフ内でモデリング操作を実行するためのメカニズムです。セッションが閉じられるとテンソルの具体的な値はすべて失われます。これが、セッションの実行後にモデルをファイルに保存するもう 1 つの理由です。

例を見たほうが理解しやすいので、2 次元データの線形回帰用の簡単な TensorFlow モデルを作成しましょう。

まず、ライブラリをインポートします。

テンソルフローをtfとしてインポートする
numpyをnpとしてインポートする
matplotlib.pyplot を plt としてインポートします。
 %matplotlib インライン

次のステップはモデルを作成することです。次の形式で、二次関数の水平方向と垂直方向の変位を推定するモデルを生成します。

 y = (x - h) ^ 2 + v

ここで、h は水平方向の変化、v は垂直方向の変化です。

モデルの生成方法は次のとおりです (詳細についてはコード内のコメントを参照してください)。

 # 変数の重複を避けるために、実行ごとに現在のグラフをクリアします
tf.reset_default_graph()
 # x と y の点のプレースホルダーを作成する
X = tf .placeholder("float")
 Y = tf .placeholder("float")
 # 学習する必要がある2つのパラメータを初期化します
h_est = tf .Variable(0.0,名前= 'hor_estimate' )
 v_est = tf .Variable(0.0,名前= 'ver_estimate' )
 # y_estはy軸上の推定値を保持します
y_est = tf .square(X - h_est) + v_est
 # コスト関数をYとy_estの間の距離の2乗として定義します
コスト= (tf.pow(Y - y_est, 2))
 # コスト関数を最小化するためのトレーニング操作。
 # 学習率は0.001です
trainop = tf.train.GradientDescentOptimizer (0.001).minimize(コスト)

モデルを作成するプロセスでは、セッションでモデルを実行し、実際のデータを渡す必要があります。いくつかの二次データを生成し、それにノイズを追加します。

 # 水平および垂直シフトにいくつかの値を使用する
h = 1    
 v = -2
 # ノイズを含むトレーニングデータを生成する
x_train = np.linspace (-2,4,201)
ノイズ= np .random.randn(*x_train.shape) * 0.4
 y_train = (x_train - h) ** 2 + v + ノイズ
# データを視覚化する
plt.rcParams['figure.figsize'] = (10, 6)
 plt.scatter(x_train, y_train)
 plt.xlabel('x_train')
 plt.ylabel('y_train')

2. セーバークラス

Saver クラスは TensorFlow ライブラリによって提供されるクラスです。グラフ構造と変数を保存するのに最適な方法です。

（１）モデルを保存する

次のコード行では、Saver オブジェクトを定義し、train_graph() 関数で 100 回の反復にわたってコスト関数を最小化します。次に、各反復と最適化が完了したら、モデルをディスクに保存します。ディスク上に作成される各保存は、「チェックポイント」と呼ばれるバイナリ ファイルと呼ばれます。

 # Saverオブジェクトを作成する
セーバー= tf.train.Saver () 
 
 init = tf .global_variables_initializer() 
 
 # セッションを実行します。コストを最小限に抑えるために100回の反復を実行します。
 train_graph()を定義します:
    tf.Session() を sess として使用:
        セッションの実行(初期化)
        iが範囲(100)内にある場合:
            zip(x_train, y_train)内の(x, y)の場合: 
 
                # 実際のデータを列車運行に供給する
                sess.run(trainop、 feed_dict ={X: x、Y: y})を実行します。 
 
            # 繰り返しごとにチェックポイントを作成する
            saver.save(sess, 'model_iter', global_step = i ) は、 
 
        # 最終モデルを保存する
        セーバー.save(sess, 'model_final')
 h_ =セッション実行(h_est)
 v_ =セッション実行(v_est)
    h_、v_を返す

それでは、上記の関数を使用してモデルをトレーニングし、トレーニングされたパラメータを出力してみましょう。

結果= train_graph ()
 print(" h_est = %.2f, v_est = %.2f" % 結果) 
 
 $ python tf_save.py
 h_est = 1.01 、 v_est = -1.96

はい、パラメータは非常に正確です。ファイル システムを確認すると、最終モデルだけでなく、最後の 4 回の反復から保存されたファイルがあります。

モデルを保存するときに、保存に必要なファイルが 4 種類あることに気付くでしょう。

• 「.meta」ファイル: グラフ構造が含まれます。
• 「.data」ファイル: 変数の値が含まれます。
• 「.index」ファイル: チェックポイントを識別します。
• 「チェックポイント」ファイル: 最近のチェックポイントのリストを含むプロトコル バッファー。

図1: ディスクに保存されたチェックポイントファイル

すべての変数をファイルに保存するには、上記のように tf.train.Saver() メソッドを呼び出します。変数のサブセットをリストまたは辞書として渡して保存します。例: tf.train.Saver({'hor_estimate': h_est})。

プロセス全体を制御できる Saver コンストラクターのその他の便利なパラメーターは次のとおりです。

• max_to_keep: 保持するチェックポイントの最大数。
• keep_checkpoint_every_n_hours: チェックポイントを保存する時間間隔。さらに詳しく知りたい場合は、Saver クラスの公式ドキュメントを参照してください。このドキュメントには、他にも役立つ情報が記載されています。
• モデルの復元

TensorFlow モデルを復元するときに最初に行うことは、「.meta」ファイルから現在のグラフにグラフ構造を読み込むことです。

 tf.reset_default_graph()
インポートされたメタ= tf .train.import_meta_graph("model_final.meta")

tf.get_default_graph() を使用して現在のグラフを探索することもできます。 2 番目のステップは、変数の値をロードすることです。注意: 値はセッション内にのみ存在します。

 tf.Session() を sess として使用:
    インポートされたメタデータを復元します(sess、tf.train.latest_checkpoint('./'))
 h_est2 = sess .run('hor_estimate:0')
 v_est2 = sess .run('ver_estimate:0')
    print("h_est: %.2f, v_est: %.2f" % (h_est2, v_est2))

 $ python tf_restore.py
 INFO:tensorflow:./model_final からパラメータを復元しています
h_est: 1.01、v_est: -1.96

前述したように、このアプローチではグラフ構造と変数のみが保存されるため、プレースホルダー「X」と「Y」を通じて入力されたトレーニング データは保存されません。

とにかく、この例では、定義したトレーニング データ tf を使用して、モデルの適合を視覚化します。

 plt.scatter(x_train, y_train, label = 'トレーニングデータ' )
 plt.plot(x_train, (x_train - h_est2) ** 2 + v_est2,色= '赤' 、ラベル= 'モデル' )
 plt.xlabel('x_train')
 plt.ylabel('y_train')
 plt.凡例()

Saver クラスを使用すると、TensorFlow モデル (グラフと変数) をファイルに簡単に保存および復元したり、作業の複数のチェックポイントを保存したりできるため、トレーニング中にモデルを微調整するのに役立ちます。

4. SavedModel 形式

TensorFlow でモデルを保存および復元する新しい方法は、SavedModel、Builder、および loader 関数を使用することです。このメソッドは、実際には Saver によって提供される高レベルのシリアル化であり、ビジネス目的に適しています。

この SavedModel アプローチは開発者に完全に受け入れられているようには見えませんが、作成者は「これは明らかに未来だ」と述べています。主に変数に焦点を当てた Saver クラスと比較して、SavedModel は、Signatures (入力と出力のセットを含むグラフを保存できるようにする) や Assets (初期化に使用される外部ファイルを含む) など、いくつかの便利な機能を 1 つのパッケージに含めるようにしています。

(1) SavedModel Builderを使用してモデルを保存する

次に、SavedModelBuilder クラスを使用してモデルを保存してみます。この例では、シンボルは使用していませんが、プロセスを説明するには十分です。

 tf.reset_default_graph()
 # 2つの変数を再初期化する
h_est = tf .Variable(h_est2,名前= 'hor_estimate2' )
 v_est = tf .Variable(v_est2、名前= 'ver_estimate2' ) 
 
 # ビルダーを作成する
ビルダー= tf .saved_model.builder.SavedModelBuilder('./SavedModel/') 
 
 # グラフと変数をビルダーに追加して保存する
tf.Session() を sess として使用:
    sess.run(h_est.initializer)
    sess.run(v_est.initializer)
    ビルダー.add_meta_graph_and_variables(sess,
                                       [tf.saved_model.tag_constants.TRAINING]、
 signature_def_map =なし、
資産コレクション=なし)
ビルダー.save()

 $ python tf_saved_model_builder.py
 INFO:tensorflow:保存するアセットがありません。
 INFO:tensorflow:書き込むアセットがありません。
 INFO:tensorflow:SavedModel が次の場所に書き込まれました: b'./SavedModel/saved_model.pb'

このコードを実行すると、モデルが「./SavedModel/saved_model.pb」にあるファイルに保存されていることがわかります。

（２）SavedModel Loaderプログラムを使用してモデルを復元する

モデルの復元では tf.saved_model.loader が使用され、セッション スコープに保存された変数とシンボルを復元できます。

次の例では、モデルをロードし、2 つの係数 (h_est と v_est) の値を出力します。値は予想どおりで、モデルは正常に回復されました。

 tf.Session() を sess として使用:
    tf.saved_model.loader.load(sess、[tf.saved_model.tag_constants.TRAINING], './SavedModel/') をロードします。
 h_est = sess .run('hor_estimate2:0')
 v_est = sess .run('ver_estimate2:0')
    print("h_est: %.2f, v_est: %.2f" % (h_est, v_est))

 $ python tf_saved_model_loader.py
 INFO:tensorflow:b'./SavedModel/variables/variables' からパラメータを復元しています
h_est: 1.01、v_est: -1.96

5. 結論

ディープラーニング ネットワークのトレーニングに長い時間がかかる可能性がある場合は、TensorFlow モデルの保存と復元が非常に役立ちます。このトピックは範囲が広すぎるため、1 つのブログ投稿で詳細を説明することはできません。とにかく、この投稿では、Saver と SavedModel ビルダー/ローダーという 2 つのツールを紹介し、ファイル構造を作成し、単純な線形回帰を使用して例を説明しました。これらが、より優れたニューラル ネットワーク モデルのトレーニングに役立つことを願っています。