機械学習モデルを評価する際にデータ漏洩を防ぐ方法

この記事では、モデルのパフォーマンスを評価する際のデータ漏洩の問題と、データ漏洩を回避する方法について説明します。

モデル評価中にトレーニング セットのデータが検証/テスト セットに入ると、データ漏洩が発生します。これにより、検証/テスト セットにおけるモデルのパフォーマンスの評価が偏ってしまいます。 Scikit-Learn を使用した「ボストンの住宅価格」データセットの例で理解してみましょう。データセットには欠損値がないため、データ漏洩をよりよく示すために 100 個の欠損値がランダムに導入されます。

 numpyをnpとしてインポートする
pandasをpdとしてインポートする
sklearn.datasetsからload_boston をインポートします
sklearn.preprocessingからStandardScaler をインポートします
sklearn.pipelineからパイプラインをインポートします
sklearn.imputeからSimpleImputer をインポートします
sklearn.neighborsからKNeighborsRegressor をインポートします
sklearn.model_selectionからcross_validate、train_test_split をインポートします
sklearn.metricsからmean_squared_errorをインポートする
 
 #データセットのインポート
データ = pd.DataFrame(load_boston()[ 'データ' ],列=load_boston()[ '機能名' ])
データ[ 'ターゲット' ] = load_boston()[ 'ターゲット' ] 
 
 
 #入力とターゲットの特徴を分割する
X = data.iloc[:,:-1].copy()
 y = data.iloc[:,-1].copy() 
 
 
 # 100個のランダムな欠損値を追加する  
 np.ランダムシード(11)
 rand_cols = np.random.randint(0,X.shape[1],100)
 rand_rows = np.random.randint(0,X.shape[0],100)
 i,jがzip(rand_rows,rand_cols)の場合:
 X.iloc[i,j] = np.nan 
 
 #データをトレーニングセットとテストセットに分割する
X_train、X_test、y_train、y_test = train_test_split(X、y、テストサイズ=0.2、ランダム状態=11) 
 
 #KNN回帰器の初期化
knn = K近隣回帰関数() 
 
 #モード入力を初期化中
imp = SimpleImputer(戦略 = 'most_frequent' ) 
 
 #StandardScaler の初期化
standard_scaler = 標準スケーラー() 
 
 #X_train の代入とスケーリング
X_train_impute = imp.fit_transform(X_train).copy()
 X_train_scaled = standard_scaler.fit_transform(X_train_impute).copy() 
 
 #5分割交差検証の実行
cv = cross_validate(推定値=knn、X=X_train_scaled、y=y_train、cv=5、スコアリング= "neg_root_mean_squared_error" 、return_train_score= True ) 
 
 #トレーニングスコアの平均を計算する クロス検証
print(f 'トレーニングRMSE（データ漏洩あり）: {-1 * np.mean(cv["train_score"])}' ) 
 
 #検証スコアの平均を計算する クロス検証
print(f '検証RMSE（データ漏洩あり）: {-1 * np.mean(cv["test_score"])}' ) 
 
 #モデルをトレーニングデータに適合させる
lr.fit(X_train_scaled、y_train) は、 
 
 #テストデータの前処理
X_test_impute = imp.transform(X_test).copy()
 X_test_scaled = standard_scaler.transform(X_test_impute).copy() 
 
 #未知のデータに対する予測とモデル評価
予測 = lr.predict(X_test_scaled)
 print(f '未知のデータのRMSE: {np.sqrt(mean_squared_error(y_test,pred))}' )

上記のコードでは、「Xtrain」はトレーニング セット (k 分割交差検証) であり、「Xtest」は未知のデータでのモデル評価に使用されます。上記のコードは、データ漏洩を伴うモデル評価の例であり、欠損値を補完するためのモード (strategy='mostfrequent') は 'Xtrain' で計算されます。同様に、データのスケーリングに使用される平均と標準偏差も、「Xtrain」を使用して計算されます。 'Xtrain' の欠損値は補完され、 'X_train' は k 分割交差検証の前にスケーリングされます。

k 分割交差検証では、「Xtrain」は「k」分割に分割されます。各 k 分割交差検証反復では、分割の 1 つが検証に使用され (検証部分と呼びます)、残りの分割はトレーニングに使用されます (トレーニング部分と呼びます)。各反復におけるトレーニング部分と検証部分には、「Xtrain」によって計算されたパターンを使用して入力された欠損値があります。同様に、「Xtrain」で計算された平均と標準偏差を使用してスケーリングされています。この推定およびスケーリング操作により、「Xtrain」からの情報が k 分割クロス検証のトレーニング部分と検証部分の両方に漏れてしまいます。この情報漏洩により、検証部分におけるモデルのパフォーマンスの推定値が偏ってしまう可能性があります。次のコードは、パイプを使用してこれを回避する方法を示しています。

 #前処理と回帰パイプライン
パイプライン = パイプライン(ステップ=[[ 'imputer' ,imp],[ 'scaler' ,standard_scaler],[ 'regressor' ,knn]]) 
 
 #パイプラインを推定値として使用して 5 分割交差検証を実行する
cv = cross_validate(推定器 = パイプライン、X = X_train、y = y_train、cv = 5、スコアリング = "neg_root_mean_squared_error" 、return_train_score = True ) 
 
 #トレーニングスコアの平均を計算する クロス検証
print(f 'トレーニングRMSE（データ漏洩なし）: {-1 * np.mean(cv["train_score"])}' ) 
 
 #検証スコアの平均を計算する クロス検証
print(f '検証RMSE（データ漏洩なし）: {-1 * np.mean(cv["test_score"])}' ) 
 
 #パイプラインをトレーニングデータに適合させる
パイプライン.fit(X_train,y_train) 
 
 #未知のデータに対する予測とモデル評価
予測 = パイプライン.予測(X_test)
 print(f '未知のデータのRMSE: {np.sqrt(mean_squared_error(y_test,pred))}' )

上記のコードでは、パイプラインにインポーター、スカラー、およびリグレッサーを含めています。この例では、「X_train」は 5 つのフォールドに分割され、各反復でパイプラインはトレーニング部分を使用して、トレーニング部分と検証部分に欠損値を入力するためのモードを計算します。同様に、トレーニング部分と検証部分を測定するために使用される平均と標準偏差も、トレーニング部分で計算されます。このプロセスでは、補完モードとスケール平均および標準偏差がトレーニング部分で各 k 分割クロス検証反復時に計算されるため、データ漏洩が排除されます。各 k 分割クロス検証反復では、これらの値を使用してトレーニング部分と検証部分を計算およびスケーリングします。

データ漏洩の有無で計算されたトレーニング RMSE と検証 RMSE の違いを確認できます。データセットが小さいため、それらの間のわずかな違いしか確認できません。データセットが大きい場合、この違いは重要になる可能性があります。目に見えないデータの場合、検証 RMSE (データ漏洩あり) は偶然にのみ RMSE に近くなります。

したがって、k 分割クロス検証にパイプラインを使用すると、データ漏洩を防ぎ、未知のデータに対するモデルのパフォーマンスをより適切に評価できます。