TensorFlow ワイド＆ディープラーニングチュートリアル

TensorFlow ワイド＆ディープラーニングチュートリアル

[[211918]]

この記事では、TF.Learn API を使用して、ワイド線形モデルとディープ フィードフォワード ニューラル ネットワークを同時にトレーニングする方法を説明します。このアプローチは、記憶と一般化の利点を組み合わせたものです。これは、スパースな入力特徴 (つまり、カテゴリ特徴には可能な値の大きなドメインがある) を持つ一般的な大規模回帰および分類の問題に適しています。ワイド ラーニングとディープ ラーニングの仕組みについて詳しく知りたい場合は、研究論文「Wide & Deep Spectrum of Models」を参照してください。では、簡単な例を見てみましょう。

上の図は、ワイド モデル (スパースな特徴と変換プロパティを持つロジスティック回帰モデル)、ディープ モデル (1 つの埋め込み層と複数の隠し層を持つフィードフォワード ニューラル ネットワーク)、ワイドおよびディープ モデル (2 つのモデルの共同トレーニング) の違いを示しています。大まかに言えば、TF.Learn API を使用してワイド、ディープ、またはワイドとディープのモデルを構成する手順は 3 つだけです。

  1. 幅部分の特徴を選択: 使用するスパース ベース列とクロス列を選択します。

  2. 深度部分の機能を選択します。連続列、各カテゴリ列の埋め込み次元、および隠し層のサイズを選択します。

  3. これらを組み合わせて、幅広く深いモデル (DNNLinearCombinedClassifier) を作成します。

インストール

このチュートリアルのコードを試してみたい場合は、次の手順に従ってください。

1. TensorFlow をインストールします。こちらにアクセスしてください。

2. チュートリアル コードをダウンロードします。

3. pandas データ分析ライブラリをインストールします。このチュートリアルでは pandas データを使用する必要があるためです。 tf.learn は pandas を必要としませんが、pandas をサポートしています。 pandasをインストールします:

a. pip を取得します。

  1.  # Ubuntu/Linux 64ビット 
  2.  $ sudo apt-get install python-pip python-dev 
  3.  
  4.  # Mac OS X
  5.  $ sudo easy_install pip
  6.  $ sudo easy_install --upgrade 6 を実行します 

b. pipを使用してpandasをインストールする

  1. $ sudo pip パンダをインストール

インストールに問題がある場合は、pandas の Web サイトの指示に従ってください。

4. チュートリアルで説明されている線形モデルをトレーニングするには、次のコマンドを実行します。

  1.  $ python wide_n_deep_tutorial.py --model_type=wide_n_deep  

このコードがどのように線形モデルを構築するかを確認してください。

基本的な機能列を定義する

まず、使用する基本的なカテゴリ機能と連続機能の列を定義します。これらの列は、モデルの幅と深さの両方の部分の構成要素として機能します。

  1. テンソルフローをtfとしてインポートする
  2.  
  3. 性別 = tf.feature_column.categorical_column_with_vocabulary_list(
  4.  「性別」 , [ 「女性」 , 「男性」 ])
  5. 教育 = tf.feature_column.categorical_column_with_vocabulary_list(
  6.  "教育" 、 [
  7.  「学士」 、 「高校卒業」 、 「11年生」 、 「修士」 、 「9年生」 、
  8.  「大学中級」 、 「准学士号」 、 「准職業学位」 、 「7～8年生」 、
  9.  「博士号」 、 「専門学校」 、 「5-6年生」 、 「10年生」 、 「1-4年生」 、
  10.  「幼稚園」 、 「12年生」  
  11.  ])
  12. 婚姻状況 = tf.feature_column.categorical_column_with_vocabulary_list(
  13.  "配偶者の有無" 、 [
  14.  「既婚配偶者」 、 「離婚」 、 「既婚配偶者不在」 、
  15.  「未婚」 、 「別居」 、 「既婚配偶者」 、 「死別」  
  16.  ])
  17. 関係 = tf.feature_column.categorical_column_with_vocabulary_list(
  18.  "関係" 、 [
  19.  「夫」 、 「家族外」 、 「妻」 、 「自分の子」 、 「未婚」 、
  20.  「その他の親戚」  
  21.  ])
  22. ワーククラス = tf.feature_column.categorical_column_with_vocabulary_list(
  23.  「労働者階級」 、[
  24.  「自営業者（非株式会社）」 、 「民間」 、 「州政府」 、 「連邦政府」 、
  25.  「地方自治体」 、 「？」 、 「自営業」 、 「無給」 、 「働いたことがない」  
  26.  ]) 
  27.  
  28.  # ハッシュの例を示す:
  29. 職業 = tf.feature_column.categorical_column_with_hash_bucket(
  30.  「職業」 、hash_bucket_size=1000)
  31. ネイティブ国 = tf.feature_column.categorical_column_with_hash_bucket(
  32.  "native_country" 、hash_bucket_size=1000) 
  33.  
  34.  # 継続的なギレアデ
  35. 年齢 = tf.feature_column.numeric_column( "年齢" )
  36. 教育番号 = tf.feature_column.numeric_column( "教育番号" )
  37. 資本ゲイン = tf.feature_column.numeric_column( "資本ゲイン" )
  38. 資本損失 = tf.feature_column.numeric_column( "資本損失" )
  39. 週あたりの時間 = tf.feature_column.numeric_column( "週あたりの時間" ) 
  40.  
  41.  ＃ 変換
  42. age_buckets = tf.feature_column.bucketized_column(
  43.  年齢、境界=[18、25、30、35、40、45、50、55、60、65])

ワイドモデル: 交差した特徴列を持つ線形モデル

ワイド モデルは、スパースで交差した特徴列を持つ線形モデルです。

  1. ベース列 = [
  2.  性別、出身国、教育、職業、労働者階級、関係、
  3.  age_buckets、
  4.  ] 
  5.  
  6. 交差列 = [
  7.  tf.feature_column.crossed_column(
  8.  [ "教育" 、 "職業" ]、hash_bucket_size=1000)、
  9.  tf.feature_column.crossed_column(
  10.  [age_buckets、 "学歴" 、 "職業" ]、hash_bucket_size=1000)、
  11.  tf.feature_column.crossed_column(
  12.  [ "出身国" 、 "職業" ]、ハッシュバケットサイズ=1000)
  13.  ]

交差した特徴列を持つワイドモデルは、特徴間のスパースな相互作用を効果的に記憶できます。つまり、交差した特徴列は、トレーニング データに出現しなかった特徴の組み合わせに一般化することはできません。埋め込みを使用してディープモデルを追加してこれを修正しましょう。

ディープモデル: 組み込みニューラルネットワーク

ディープモデルは、前の図に示すように、フィードフォワード ニューラル ネットワークです。それぞれのスパースな高次元カテゴリ特徴は、まず、埋め込みベクトルと呼ばれることが多い低次元の密な実数値ベクトルに変換されます。これらの低次元の密な埋め込みベクトルは連続的な特徴と連結され、フォワードパスでニューラル ネットワークの隠し層に送られます。埋め込み値はランダムに初期化され、他のモデルパラメータと一緒にトレーニングされ、トレーニング損失を最小限に抑えます。埋め込みについてさらに詳しく知りたい場合は、チュートリアル「単語のベクトル表現」を参照するか、Wikipedia の「単語の埋め込み」をお読みください。

embedding_column を使用してカテゴリ埋め込み列を設定し、連続列と連結します。

  1. 深い列 = [
  2.  tf.feature_column.indicator_column(ワーククラス)、
  3.  tf.feature_column.indicator_column(教育)、
  4.  tf.feature_column.indicator_column(性別)、
  5.  tf.feature_column.indicator_column(関係)、
  6.  # 埋め込みの例を示す
  7.  tf.feature_column.embedding_column(ネイティブ国、次元=8)、
  8.  tf.feature_column.embedding_column(職業、次元=8)、
  9.  年、
  10.  教育番号、
  11.  キャピタルゲイン、
  12.  資本損失、
  13.  週あたりの時間、
  14.  ]

埋め込みの次元が高くなるほど、モデルがこれらの特徴の表現を学習するために必要な自由度が高くなります。簡単にするために、すべての特徴列の次元を 8 に設定します。経験則として、次元から始める最良の方法は、\log_{2}(n) または k\sqrt[4]{n} の値から始めることです。ここで、n は特徴列内の一意の特徴の数、k は小さな定数 (通常は 10 未満) です。

高密度埋め込みにより、ディープモデルはより適切に一般化され、トレーニング データで以前に遭遇しなかった特徴についてより適切な予測を行うことができます。しかし、2 つの特徴列間の基になる相互作用行列がスパースかつ高ランクである場合、特徴列の効果的な低次元表現を学習することは困難です。この場合、いくつかの例外を除いて、ほとんどの特徴ペア間の相互作用はゼロになるはずですが、密な埋め込みにより、すべての特徴ペアの予測がゼロ以外になるため、過度に一般化される可能性があります。一方、交差特徴を持つ線形モデルは、より少ないモデルパラメータでこれらの「異常なルール」を効果的に記憶できます。

それでは、ワイドモデルとディープモデルを共同でトレーニングして、それぞれの長所と短所を活用する方法を見てみましょう。

ワイドモデルとディープモデルの組み合わせ

ワイド モデルとディープ モデルは、最終出力のログ オッズを予測として組み込むことによって結合され、その後、ロジスティック損失関数に入力されます。グラフの定義と変数の割り当てはすべて完了しているので、DNNLinearCombinedClassifier を作成するだけです。

  1. 一時ファイルをインポートする
  2. model_dir = tempfile.mkdtemp()
  3.  m = tf.contrib.learn.DNNLinearCombinedClassifier(
  4.  model_dir=モデル_dir、
  5.  linear_feature_columns=ワイド列、
  6.  dnn_feature_columns=ディープ列、
  7.  dnn_hidden_​​units=[100, 50])

モデルのトレーニングと評価

モデルをトレーニングする前に、TensorFlow 線形モデル チュートリアルで行ったように、国勢調査データセットを読んでください。 入力データ処理のコードも便宜上提供されています。

  1.  pandasをpdとしてインポートする
  2. urllibをインポートする
  3.  
  4.  # データセットの列名を定義する
  5. CSV_COLUMNS = [
  6.  「年齢」 、 「労働階級」 、 「職位」 、 「教育」 、 「教育番号」 、
  7.  「婚姻状況」 、 「職業」 、 「関係」 、 「人種」 、 「性別」 、
  8.  「資本増加」 、 「資本損失」 、 「週あたりの時間」 、 「母国」 、
  9.  「所得区分」  
  10.  ] 
  11.  
  12.  def maybe_download(train_data, test_data):
  13.  "" "トレーニング データをダウンロードし、トレーニング ファイルとテスト ファイルの名前を返します。" ""  
  14.  train_dataの場合:
  15.  トレーニングファイル名 = トレーニングデータ
  16. それ以外：
  17.  train_file = tempfile.NamedTemporaryFile(削除= False )
  18.  urllib.request.urlretrieve() は、
  19.  「https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data」 、
  20.  train_file. name ) # pylint:disable=line-too-long
  21.  列車ファイル名 =列車ファイル名 
  22.  トレーニングファイルを閉じる( )
  23.  print( "トレーニングデータは%sにダウンロードされました" % train_file_name) 
  24.  
  25.  test_dataの場合:
  26.  テストファイル名 = テストデータ
  27. それ以外：
  28.  test_file = tempfile.NamedTemporaryFile(削除= False )
  29.  urllib.request.urlretrieve() は、
  30.  「https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.test」 、
  31.  test_file. name ) # pylint: 無効 = 行が長すぎる
  32.  テストファイル名 =テストファイル名 
  33.  test_file.close ( )関数
  34.  print( "テストデータは%sにダウンロードされました" % test_file_name) 
  35.  
  36.  train_file_name、test_file_nameを返す
  37.  
  38.  def input_fn(データファイル、エポック数、シャッフル):
  39.  「入力ビルダー関数」  
  40.  df_data = pd.read_csv(
  41.  tf.gfile.Open (データファイル)、
  42.  名前=CSV_COLUMNS、
  43.  skipinitialspace= True 、
  44.  エンジン = "python" 、
  45.  スキップ行数=1)
  46.  # NaN要素を削除する
  47.  df_data = df_data.dropna(how= "any" 、 axis=0)
  48.  ラベル = df_data[ "income_bracket" ].apply(lambda x: ">50K"   x ).astype( int )内
  49. tf.estimator.inputs.pandas_input_fn(を返す
  50.  x=df_data、
  51.  y=ラベル、
  52.  バッチサイズ=100、
  53.  num_epochs=num_epochs、
  54.  シャッフル=シャッフル、
  55.  スレッド数=5)

データを読み取った後、モデルをトレーニングして評価できます。

  1.  # エポックを最大化するにはnum_epochsをNoneに設定します
  2. m.train(
  3.  input_fn=input_fn(train_file_name, num_epochs=None, shuffle= True ),
  4.  ステップ=train_steps)
  5.  # すべてのデータが消費される前に評価を実行するには、ステップをなしに設定します
  6. 結果 = m.evaluate(
  7.  input_fn=input_fn(テストファイル名、num_epochs=1、シャッフル= False )、
  8.  ステップ=なし)
  9.  print( "モデルディレクトリ = %s" % model_dir)
  10. のために 鍵 ソート済み(結果):
  11.  print( "%s: %s" % (キー, 結果[キー]))

出力の最初の行は、accuracy: 0.84429705 のようになります。ワイド＆ディープ モデルを使用すると、ワイド線形モデルの精度が約 83.6% から約 84.4% に向上することがわかります。エンドツーエンドの実際の例を確認したい場合は、サンプル コードをダウンロードできます。

このチュートリアルは、API にすぐに慣れるための、小さなデータベースを使用した単純な例であることに注意してください。まばらな特徴列と多数の可能な特徴値を持つ大規模なデータセットがある場合、ワイド ラーニングとディープ ラーニングはさらに強力になります。また、ワイドラーニングとディープラーニングが実際に大規模な機械学習にどのように適用されているかについて詳しく知るには、当社の研究論文にご注目ください。

<<:  AIのために知っておくべき10のディープラーニング手法

>>:  2018 年に人工知能を変える 5 つのビッグデータ トレンド

ブログ    

推薦する

研究によると、話題が真実か虚偽かに関係なく、AIが書いたマイクロブログは実際の人間よりも説得力があるという。

6月29日、最新の研究により、人工知能によって生成されたツイートは実際の人間が書いたものよりも説得...

AIの大覚醒：チューリング賞受賞者のベンジオ氏は、AIは意識を持ち、将来の機械学習の核となるのは注意メカニズムであると語る

人工知能は意識を発達させることができるか？これはアメリカのテレビシリーズ「ウエストワールド」で取り上...

AIのダークサイドを暴く：人工知能は人間に取って代わるが、機械をどのように学習するかは分からない

[[189044]]昨年、自動運転車がニュージャージー州モンマス郡に侵入した。チップメーカーのNvi...

なぜ「ハイエンド」アルゴリズムエンジニアはデータ移民労働者になったのでしょうか?

まず、Zhihu の「アルゴリズム エンジニアになるのはどんな感じか」という質問に対する私の回答を共...

AIを活用した臨床モニタリングシステムの台頭

人工知能（AI）は生活のあらゆる分野に浸透しています。人工知能は医療にどのようなメリットをもたらすの...

顔認証がまたもや放棄される。米国に続いて今度はEUの番

近年、人工知能の継続的な台頭により、顔認識が広く使用されるようになり、「顔スキャン」の時代が静かに到...

...

十分なデータを使用してモデルをトレーニングしたかどうかをどのように確認しますか?

[51CTO.com クイック翻訳]ディープニューラルネットワーク (DNN) には大量のトレーニ...

2022年のデータサイエンスとAIの予測

2021 年には技術変化のペースが加速し、歴史が示すように、2022 年もそのペースは加速し続けるで...

ケンブリッジ大学チームは約50年後に初めて量子スピン液体を検出し、その研究はサイエンス誌に掲載された。

[[439547]]一部の研究者は、量子コンピューターがいつの日かデジタル暗号の解読や薬剤の設計な...

アンドリュー・ン：ディープラーニングの知識を完全に説明する 22 枚の写真

Andrew Ng 氏は、Tess Ferrandez 氏が修了したディープラーニング特別コースのイ...

...

...

武有雄が人工知能について語る

7月9日、世界人工知能会議クラウドサミットが正式に開幕しました！アマゾン ウェブ サービスは、202...

データのラベル付けは不要、「3D理解」によるマルチモーダル事前トレーニングの時代へ！ ULIPシリーズは完全にオープンソースで、SOTAをリフレッシュします

3D 形状、2D 画像、および対応する言語記述を整合させることにより、マルチモーダル事前トレーニング...