機械学習で知っておくべき3つの特徴選択方法！

ディープラーニングの活発な発展に伴い、業務シナリオで使用するためのディープニューラルネットワークを構築しようとする人がますます増えています。モデルにデータを入力してモデルパラメータを調整するだけで、モデルが独自のメカニズムを使用して重要な機能を選択し、より優れたデータ結果を出力できると彼らは考えています。

[[377236]]

実際の作業シナリオでは、データと時間が限られているため、このアプローチはお勧めできません。一方で、大量のデータ入力はモデルのトレーニングサイクルの長期化につながります。他方、現在の市場セグメントでは、すべてのシナリオに大量のデータがあるわけではなく、大量のデータから重要な機能を見つけることが急務となっています。

この記事では、データサイエンスの分野で働きたい人なら誰でも知っておくべき特徴量を選択するための 3 つの方法を紹介します。この記事は次のように構成されています。

データセットの読み込みと準備
方法1: 係数から特徴量の重要度を取得する
方法2: ツリーモデルから特徴の重要度を取得する
方法3: PCAスコアから特徴の重要度を取得する
結論は

データセットの読み込みと準備

導入のために、Scikit-Learn に組み込まれている「load_breast_cancer」データセットを使用します。

次のコードスニペットは、ライブラリをインポートしてデータセットをロードする方法を示しています。

 numpyをnpとしてインポートする
pandasをpdとしてインポートする
sklearn.datasetsからload_breast_cancer をインポートします
matplotlib.pyplot をpltとしてインポートします。
 matplotlibからrcParamsをインポート
rcParams[ 'figure.figsize' ] = 14, 7
 rcParams[ 'axes.spines.top' ] = False  
 rcParams[ 'axes.spines.right' ] = False  
 #データを読み込む
データ = load_breast_cancer()

結果を出力するために次のコードを呼び出します。

 df = pd.concat([pd.DataFrame(data.data, columns=data.feature_names),pd.DataFrame(data.target, columns=[ 'y' ])], axis=1)
 df.head()

上記のデータには、30 個の特徴変数と 1 つのターゲット変数があります。すべての値は数値であり、欠損値はありません。スケーリングの問題を解決する前に、トレーニングとテストの分割も実行する必要があります。

 sklearn.preprocessingからStandardScaler をインポートします
sklearn.model_selectionからtrain_test_split をインポートします
X = df.drop ( 'y' 、軸 = 1)
 y = df[ 'y' ]
 X_train、X_test、y_train、y_test = train_test_split(X、y、test_size=0.25、random_state=42) です。
 ss = 標準スケーラ()
 X_train_scaled = ss.fit_transform(X_train)
 X_test_scaled = ss.transform(X_test)

方法1: 係数から特徴量の重要度を取得する

特徴の重要性を確認する最も簡単な方法は、モデルの係数を調べることです。たとえば、線形回帰とロジスティック回帰はどちらも、各入力値に係数 (重要度) が割り当てられる方程式になります。

簡単に言えば、割り当てられた係数が大きい（負または正）数値である場合、予測に何らかの影響を及ぼします。逆に、係数がゼロの場合、予測には影響しません。

ロジックは非常に単純なので、テストしてロジスティック回帰が適切なアルゴリズムであるかどうかを確認しましょう。モデルを適合した後、係数は属性 coef_ に保存されます。

 sklearn.linear_modelからLogisticRegression をインポートします
 
モデル = ロジスティック回帰()
モデルをフィット(X_train_scaled、y_train)
重要度 = pd.DataFrame(データ={
 '属性' : X_train.columns、
 '重要度' : model.coef_[0]
 })
重要度 = importances.sort_values( by = '重要度' 、 ascending= False )
 ＃ 視覚化
plt.bar(x=importances[ '属性' ], height=importances[ '重要度' ], color= '#087E8B' )
 plt.title( '係数から得られた特徴の重要度' 、サイズ= 20)
 plt.xticks(回転 = '垂直' )
 plt.show()

対応する視覚化は次のとおりです。

この方法の最大の特徴は、「シンプル」かつ「効率的」であることです。係数（正方向と負方向）が大きいほど、予測効果への影響が大きくなります。

方法2: ツリーモデルから重要度を取得する

任意の Tree モデルをトレーニングした後、feature_importances 属性にアクセスできるようになります。これは、作業機能の重要性を把握する最も簡単な方法の 1 つです。

次のコードは、モデルをインポートしてトレーニングデータにモデルを適合させる方法と、重要度を取得する方法を示しています。

 xgboostからXGBClassifier をインポートします
 
モデル = XGBClassifier()
モデルをフィット(X_train_scaled、y_train)
重要度 = pd.DataFrame(データ={
 '属性' : X_train.columns、
 「重要度」 : model.feature_importances_
 })
重要度 = importances.sort_values( by = '重要度' 、 ascending= False )
 ＃ 視覚化
plt.bar(x=importances[ '属性' ], height=importances[ '重要度' ], color= '#087E8B' )
 plt.title( '係数から得られた特徴の重要度' 、サイズ= 20)
 plt.xticks(回転 = '垂直' )
 plt.show()

対応する視覚化を以下に示します。

方法3: PCAスコアから特徴の重要度を取得する

主成分分析 (PCA) は、特徴の重要性を判断するためにも使用できる優れた次元削減手法です。

PCA は、前の 2 つの手法のように最も重要な特徴を直接表示しません。代わりに、N 個の主成分を返します。ここで、N は元の特徴の数に等しくなります。

 sklearn.decompositionからPCA をインポート
pca = PCA().fit(X_train_scaled)
 ＃ 視覚化
plt.plot(pca.explained_variance_ratio_.cumsum(), lw=3, 色= '#087E8B' )
 plt.title( '主成分数による累積説明分散' 、サイズ= 20)
 plt.show()

しかし、これは何を意味するのでしょうか? これは、最初の 5 つの主成分を使用して、ソースデータセットの分散の 90% を説明できることを意味します。繰り返しますが、これが何を意味するのかわからない場合は、読み続けてください。

読み込み = pd.DataFrame(
    データ = pca.components_.T * np.sqrt(pca.explained_variance_)、
    列=[f 'PC{i}'   iが範囲(1, len(X_train.columns) + 1)],
インデックス=X_train.columns
 ）
読み込み.head()

最初の主要コンポーネントが重要です。これは単なる 1 つの要因ですが、データセット内の分散の 60% 以上を説明します。上の図からわかるように、平均半径特徴との相関係数は 0.8 に近く、強い正の相関関係があると考えられます。

すべての入力特徴と第 1 主成分間の相関を視覚化してみましょう。以下にコードスニペット全体 (視覚化を含む) を示します。

 pc1_loadings = loadings.sort_values( by = 'PC1' , ascending = False )[[ 'PC1' ]]
 pc1_loadings = pc1_loadings.reset_index()
 pc1_loadings.columns = [ '属性' , 'PC1との相関' ] 
 
 plt.bar(x=pc1_loadings[ '属性' ], 高さ=pc1_loadings[ '相関関係PC1' ], 色= '#087E8B' )
 plt.title( 'PCA ローディングスコア (第 1 主成分)' 、サイズ= 20)
 plt.xticks(回転 = '垂直' )
 plt.show()