TensorFlow ワイド＆ディープラーニングチュートリアル

TensorFlow ワイド＆ディープラーニングチュートリアル

[[211918]]

この記事では、TF.Learn API を使用して、ワイド線形モデルとディープ フィードフォワード ニューラル ネットワークを同時にトレーニングする方法を説明します。このアプローチは、記憶と一般化の利点を組み合わせたものです。これは、スパースな入力特徴 (つまり、カテゴリ特徴には可能な値の大きなドメインがある) を持つ一般的な大規模回帰および分類の問題に適しています。ワイド ラーニングとディープ ラーニングの仕組みについて詳しく知りたい場合は、研究論文「Wide & Deep Spectrum of Models」を参照してください。では、簡単な例を見てみましょう。

上の図は、ワイド モデル (スパースな特徴と変換プロパティを持つロジスティック回帰モデル)、ディープ モデル (1 つの埋め込み層と複数の隠し層を持つフィードフォワード ニューラル ネットワーク)、ワイドおよびディープ モデル (2 つのモデルの共同トレーニング) の違いを示しています。大まかに言えば、TF.Learn API を使用してワイド、ディープ、またはワイドとディープのモデルを構成する手順は 3 つだけです。

  1. 幅部分の特徴を選択: 使用するスパース ベース列とクロス列を選択します。

  2. 深度部分の機能を選択します。連続列、各カテゴリ列の埋め込み次元、および隠し層のサイズを選択します。

  3. これらを組み合わせて、幅広く深いモデル (DNNLinearCombinedClassifier) を作成します。

インストール

このチュートリアルのコードを試してみたい場合は、次の手順に従ってください。

1. TensorFlow をインストールします。こちらにアクセスしてください。

2. チュートリアル コードをダウンロードします。

3. pandas データ分析ライブラリをインストールします。このチュートリアルでは pandas データを使用する必要があるためです。 tf.learn は pandas を必要としませんが、pandas をサポートしています。 pandasをインストールします:

a. pip を取得します。

  1.  # Ubuntu/Linux 64ビット 
  2.  $ sudo apt-get install python-pip python-dev 
  3.  
  4.  # Mac OS X
  5.  $ sudo easy_install pip
  6.  $ sudo easy_install --upgrade 6 を実行します 

b. pipを使用してpandasをインストールする

  1. $ sudo pip パンダをインストール

インストールに問題がある場合は、pandas の Web サイトの指示に従ってください。

4. チュートリアルで説明されている線形モデルをトレーニングするには、次のコマンドを実行します。

  1.  $ python wide_n_deep_tutorial.py --model_type=wide_n_deep  

このコードがどのように線形モデルを構築するかを確認してください。

基本的な機能列を定義する

まず、使用する基本的なカテゴリ機能と連続機能の列を定義します。これらの列は、モデルの幅と深さの両方の部分の構成要素として機能します。

  1. テンソルフローをtfとしてインポートする
  2.  
  3. 性別 = tf.feature_column.categorical_column_with_vocabulary_list(
  4.  「性別」 , [ 「女性」 , 「男性」 ])
  5. 教育 = tf.feature_column.categorical_column_with_vocabulary_list(
  6.  "教育" 、 [
  7.  「学士」 、 「高校卒業」 、 「11年生」 、 「修士」 、 「9年生」 、
  8.  「大学中級」 、 「准学士号」 、 「准職業学位」 、 「7～8年生」 、
  9.  「博士号」 、 「専門学校」 、 「5-6年生」 、 「10年生」 、 「1-4年生」 、
  10.  「幼稚園」 、 「12年生」  
  11.  ])
  12. 婚姻状況 = tf.feature_column.categorical_column_with_vocabulary_list(
  13.  "配偶者の有無" 、 [
  14.  「既婚配偶者」 、 「離婚」 、 「既婚配偶者不在」 、
  15.  「未婚」 、 「別居」 、 「既婚配偶者」 、 「死別」  
  16.  ])
  17. 関係 = tf.feature_column.categorical_column_with_vocabulary_list(
  18.  "関係" 、 [
  19.  「夫」 、 「家族外」 、 「妻」 、 「自分の子」 、 「未婚」 、
  20.  「その他の親戚」  
  21.  ])
  22. ワーククラス = tf.feature_column.categorical_column_with_vocabulary_list(
  23.  「労働者階級」 、[
  24.  「自営業者（非株式会社）」 、 「民間」 、 「州政府」 、 「連邦政府」 、
  25.  「地方自治体」 、 「？」 、 「自営業」 、 「無給」 、 「働いたことがない」  
  26.  ]) 
  27.  
  28.  # ハッシュの例を示す:
  29. 職業 = tf.feature_column.categorical_column_with_hash_bucket(
  30.  「職業」 、hash_bucket_size=1000)
  31. ネイティブ国 = tf.feature_column.categorical_column_with_hash_bucket(
  32.  "native_country" 、hash_bucket_size=1000) 
  33.  
  34.  # 継続的なギレアデ
  35. 年齢 = tf.feature_column.numeric_column( "年齢" )
  36. 教育番号 = tf.feature_column.numeric_column( "教育番号" )
  37. 資本ゲイン = tf.feature_column.numeric_column( "資本ゲイン" )
  38. 資本損失 = tf.feature_column.numeric_column( "資本損失" )
  39. 週あたりの時間 = tf.feature_column.numeric_column( "週あたりの時間" ) 
  40.  
  41.  ＃ 変換
  42. age_buckets = tf.feature_column.bucketized_column(
  43.  年齢、境界=[18、25、30、35、40、45、50、55、60、65])

ワイドモデル: 交差した特徴列を持つ線形モデル

ワイド モデルは、スパースで交差した特徴列を持つ線形モデルです。

  1. ベース列 = [
  2.  性別、出身国、教育、職業、労働者階級、関係、
  3.  age_buckets、
  4.  ] 
  5.  
  6. 交差列 = [
  7.  tf.feature_column.crossed_column(
  8.  [ "教育" 、 "職業" ]、hash_bucket_size=1000)、
  9.  tf.feature_column.crossed_column(
  10.  [age_buckets、 "学歴" 、 "職業" ]、hash_bucket_size=1000)、
  11.  tf.feature_column.crossed_column(
  12.  [ "出身国" 、 "職業" ]、ハッシュバケットサイズ=1000)
  13.  ]

交差した特徴列を持つワイドモデルは、特徴間のスパースな相互作用を効果的に記憶できます。つまり、交差した特徴列は、トレーニング データに出現しなかった特徴の組み合わせに一般化することはできません。埋め込みを使用してディープモデルを追加してこれを修正しましょう。

ディープモデル: 組み込みニューラルネットワーク

ディープモデルは、前の図に示すように、フィードフォワード ニューラル ネットワークです。それぞれのスパースな高次元カテゴリ特徴は、まず、埋め込みベクトルと呼ばれることが多い低次元の密な実数値ベクトルに変換されます。これらの低次元の密な埋め込みベクトルは連続的な特徴と連結され、フォワードパスでニューラル ネットワークの隠し層に送られます。埋め込み値はランダムに初期化され、他のモデルパラメータと一緒にトレーニングされ、トレーニング損失を最小限に抑えます。埋め込みについてさらに詳しく知りたい場合は、チュートリアル「単語のベクトル表現」を参照するか、Wikipedia の「単語の埋め込み」をお読みください。

embedding_column を使用してカテゴリ埋め込み列を設定し、連続列と連結します。

  1. 深い列 = [
  2.  tf.feature_column.indicator_column(ワーククラス)、
  3.  tf.feature_column.indicator_column(教育)、
  4.  tf.feature_column.indicator_column(性別)、
  5.  tf.feature_column.indicator_column(関係)、
  6.  # 埋め込みの例を示す
  7.  tf.feature_column.embedding_column(ネイティブ国、次元=8)、
  8.  tf.feature_column.embedding_column(職業、次元=8)、
  9.  年、
  10.  教育番号、
  11.  キャピタルゲイン、
  12.  資本損失、
  13.  週あたりの時間、
  14.  ]

埋め込みの次元が高くなるほど、モデルがこれらの特徴の表現を学習するために必要な自由度が高くなります。簡単にするために、すべての特徴列の次元を 8 に設定します。経験則として、次元から始める最良の方法は、\log_{2}(n) または k\sqrt[4]{n} の値から始めることです。ここで、n は特徴列内の一意の特徴の数、k は小さな定数 (通常は 10 未満) です。

高密度埋め込みにより、ディープモデルはより適切に一般化され、トレーニング データで以前に遭遇しなかった特徴についてより適切な予測を行うことができます。しかし、2 つの特徴列間の基になる相互作用行列がスパースかつ高ランクである場合、特徴列の効果的な低次元表現を学習することは困難です。この場合、いくつかの例外を除いて、ほとんどの特徴ペア間の相互作用はゼロになるはずですが、密な埋め込みにより、すべての特徴ペアの予測がゼロ以外になるため、過度に一般化される可能性があります。一方、交差特徴を持つ線形モデルは、より少ないモデルパラメータでこれらの「異常なルール」を効果的に記憶できます。

それでは、ワイドモデルとディープモデルを共同でトレーニングして、それぞれの長所と短所を活用する方法を見てみましょう。

ワイドモデルとディープモデルの組み合わせ

ワイド モデルとディープ モデルは、最終出力のログ オッズを予測として組み込むことによって結合され、その後、ロジスティック損失関数に入力されます。グラフの定義と変数の割り当てはすべて完了しているので、DNNLinearCombinedClassifier を作成するだけです。

  1. 一時ファイルをインポートする
  2. model_dir = tempfile.mkdtemp()
  3.  m = tf.contrib.learn.DNNLinearCombinedClassifier(
  4.  model_dir=モデル_dir、
  5.  linear_feature_columns=ワイド列、
  6.  dnn_feature_columns=ディープ列、
  7.  dnn_hidden_​​units=[100, 50])

モデルのトレーニングと評価

モデルをトレーニングする前に、TensorFlow 線形モデル チュートリアルで行ったように、国勢調査データセットを読んでください。 入力データ処理のコードも便宜上提供されています。

  1.  pandasをpdとしてインポートする
  2. urllibをインポートする
  3.  
  4.  # データセットの列名を定義する
  5. CSV_COLUMNS = [
  6.  「年齢」 、 「労働階級」 、 「職位」 、 「教育」 、 「教育番号」 、
  7.  「婚姻状況」 、 「職業」 、 「関係」 、 「人種」 、 「性別」 、
  8.  「資本増加」 、 「資本損失」 、 「週あたりの時間」 、 「母国」 、
  9.  「所得区分」  
  10.  ] 
  11.  
  12.  def maybe_download(train_data, test_data):
  13.  "" "トレーニング データをダウンロードし、トレーニング ファイルとテスト ファイルの名前を返します。" ""  
  14.  train_dataの場合:
  15.  トレーニングファイル名 = トレーニングデータ
  16. それ以外：
  17.  train_file = tempfile.NamedTemporaryFile(削除= False )
  18.  urllib.request.urlretrieve() は、
  19.  「https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data」 、
  20.  train_file. name ) # pylint:disable=line-too-long
  21.  列車ファイル名 =列車ファイル名 
  22.  トレーニングファイルを閉じる( )
  23.  print( "トレーニングデータは%sにダウンロードされました" % train_file_name) 
  24.  
  25.  test_dataの場合:
  26.  テストファイル名 = テストデータ
  27. それ以外：
  28.  test_file = tempfile.NamedTemporaryFile(削除= False )
  29.  urllib.request.urlretrieve() は、
  30.  「https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.test」 、
  31.  test_file. name ) # pylint: 無効 = 行が長すぎる
  32.  テストファイル名 =テストファイル名 
  33.  test_file.close ( )関数
  34.  print( "テストデータは%sにダウンロードされました" % test_file_name) 
  35.  
  36.  train_file_name、test_file_nameを返す
  37.  
  38.  def input_fn(データファイル、エポック数、シャッフル):
  39.  「入力ビルダー関数」  
  40.  df_data = pd.read_csv(
  41.  tf.gfile.Open (データファイル)、
  42.  名前=CSV_COLUMNS、
  43.  skipinitialspace= True 、
  44.  エンジン = "python" 、
  45.  スキップ行数=1)
  46.  # NaN要素を削除する
  47.  df_data = df_data.dropna(how= "any" 、 axis=0)
  48.  ラベル = df_data[ "income_bracket" ].apply(lambda x: ">50K"   x ).astype( int )内
  49. tf.estimator.inputs.pandas_input_fn(を返す
  50.  x=df_data、
  51.  y=ラベル、
  52.  バッチサイズ=100、
  53.  num_epochs=num_epochs、
  54.  シャッフル=シャッフル、
  55.  スレッド数=5)

データを読み取った後、モデルをトレーニングして評価できます。

  1.  # エポックを最大化するにはnum_epochsをNoneに設定します
  2. m.train(
  3.  input_fn=input_fn(train_file_name, num_epochs=None, shuffle= True ),
  4.  ステップ=train_steps)
  5.  # すべてのデータが消費される前に評価を実行するには、ステップをなしに設定します
  6. 結果 = m.evaluate(
  7.  input_fn=input_fn(テストファイル名、num_epochs=1、シャッフル= False )、
  8.  ステップ=なし)
  9.  print( "モデルディレクトリ = %s" % model_dir)
  10. のために 鍵 ソート済み(結果):
  11.  print( "%s: %s" % (キー, 結果[キー]))

出力の最初の行は、accuracy: 0.84429705 のようになります。ワイド＆ディープ モデルを使用すると、ワイド線形モデルの精度が約 83.6% から約 84.4% に向上することがわかります。エンドツーエンドの実際の例を確認したい場合は、サンプル コードをダウンロードできます。

このチュートリアルは、API にすぐに慣れるための、小さなデータベースを使用した単純な例であることに注意してください。まばらな特徴列と多数の可能な特徴値を持つ大規模なデータセットがある場合、ワイド ラーニングとディープ ラーニングはさらに強力になります。また、ワイドラーニングとディープラーニングが実際に大規模な機械学習にどのように適用されているかについて詳しく知るには、当社の研究論文にご注目ください。

<<:  AIのために知っておくべき10のディープラーニング手法

>>:  2018 年に人工知能を変える 5 つのビッグデータ トレンド

ブログ    

推薦する

宇宙の力を活用してデータを処理しましょう! 「物理ネットワーク」はディープニューラルネットワークよりもはるかに優れている

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式...

図解による古典的なプロセススケジューリングアルゴリズム

[[382804]]この記事はWeChatの公開アカウント「Flying Veal」から転載したもの...

ビッグデータが地球を救う10の方法

近年、多くの物事の成功はテクノロジーの進歩によるものと言えます。その一つは、気候変動のリスクから地球...

AIの言語学習は人間の脳と非常に似ています！新たな研究により、言語は人間の生来の能力ではなく、機械も学習できることが証明された。

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載...

...

...

人工知能が衛星衝突回避システムの開発に貢献

衛星が損傷を受けると、危険な宇宙ゴミになります。シンシナティ大学の学生たちは、損傷した衛星や宇宙船を...

自動運転がまだ人間から解放されていないとき

「不適切なタイミングで車線変更をすることがよくあるのですが、状況を救うためにハンドルを切ろうとすると...

AIとロボットはどこで使われていますか?お伝えしたいユースケースはたくさんあります

人工知能とロボット工学はテクノロジー分野に大きな変化をもたらしています。 20年前に人々が夢見ていた...

...

...

...

「最もわかりにくい」Paxos アルゴリズムと、データベースの高可用性におけるその使用法をわかりやすい言葉で理解する

最近、Paxos アルゴリズムについてみんなが議論しています。私はオンラインで多くの記事を読みました...

このAIは、監視対象を素早く検索するのに役立ちます：テキスト配置キーフレーム、24時間のビデオ録画10分処理

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載...

7nmプロセス限界を突破した世界初の3DウェーハレベルパッケージングプロセッサIPUがリリース

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式...