Python ベースのパーセプトロン分類アルゴリズムの実践

パーセプトロンは、バイナリ分類タスク用の線形機械学習アルゴリズムです。これは、人工ニューラルネットワークの最初の、そして最も単純なタイプの 1 つと考えることができます。確かに「ディープ」ラーニングではありませんが、重要な要素です。ロジスティック回帰と同様に、2 クラス分類タスクの特徴空間における線形分離を迅速に学習できますが、ロジスティック回帰とは異なり、確率的勾配降下最適化アルゴリズムを使用して学習し、キャリブレーション確率を予測しません。

このチュートリアルでは、パーセプトロン分類機械学習アルゴリズムについて説明します。このチュートリアルを完了すると、次のことが分かります。

パーセプトロン分類器は、バイナリ分類タスクに適用できる線形アルゴリズムです。
Scikit-Learn でパーセプトロンモデルを使用して適合、評価、予測を行う方法。
特定のデータセットでパーセプトロンアルゴリズムのハイパーパラメータを調整する方法。

チュートリアルの概要

このチュートリアルは 3 つのパート、合計 3 つのセクションに分かれています。彼らです：

パーセプトロンアルゴリズム
Scikit-learn によるパーセプトロン
ピッチパーセプトロンハイパーパラメータ

パーセプトロンアルゴリズム

パーセプトロンアルゴリズムは、2 クラス (バイナリ) 分類機械学習アルゴリズムです。これはニューラルネットワークモデルであり、おそらく最も単純なタイプのニューラルネットワークモデルです。これは、データの行を入力として受け取り、クラスラベルを予測する単一のノードまたはニューロンで構成されます。これは、入力の加重合計とバイアス (1 に設定) を計算することによって実現できます。モデルの入力の加重合計はアクティベーションと呼ばれます。

活性化 = 重み * 入力 + バイアス

活性化が 0.0 を超える場合、モデルは 1.0 を出力します。それ以外の場合、モデルは 1.0 を出力します。それ以外の場合は0.0が出力されます。

予測1: 活性化 > 0.0の場合

予測0: 活性化 <= 0.0の場合

入力に線形回帰やロジスティック回帰などのモデル係数が乗算されていると仮定すると、モデルを使用する前にデータを正規化または標準化することをお勧めします。パーセプトロンは線形分類アルゴリズムです。これは、特徴空間内の線 (超平面と呼ばれる) を使用して 2 つのクラスを分離する決定境界を学習することを意味します。したがって、クラスを線形または線形モデルによって適切に分離できる問題 (線形分離可能と呼ばれる) に適しています。このモデルの係数は入力重みと呼ばれ、確率的勾配降下法最適化アルゴリズムを使用してトレーニングされます。トレーニングデータセットの例が 1 つずつモデルに表示され、モデルは予測を行ってエラーを計算します。次に、その例のエラーを減らすためにモデルの重みが更新されます。これはパーセプトロン更新規則と呼ばれます。このプロセスは、トレーニングデータセット内のすべての例 (エポックと呼ばれる) に対して繰り返されます。その後、例を使用してモデルを更新するプロセスが何度も繰り返されます。各バッチでは、モデルの重みを更新するためにエラーのより小さな割合が使用され、この割合は学習率と呼ばれるハイパーパラメータによって制御されます。学習率は通常、小さな値に設定されます。これは、学習があまりに速く行われず、モデルの重みの最適化 (検索) プロセスの早期収束と呼ばれる潜在的に低いスキルレベルに陥らないようにするためです。

重み(t+1) = 重み(t) + 学習率 * (期待値i – 予測値) * 入力値i

モデルによって生成されたエラーが低いレベルに低下するか改善が停止するか、最大数のエポックが実行されると、トレーニングは停止します。

モデルの重みの初期値は小さなランダム値に設定されます。さらに、トレーニングデータセットは各トレーニングエポックの前にシャッフルされます。これは、モデルのトレーニングプロセスを高速化し、改善するために設計されています。したがって、学習アルゴリズムは確率的であり、実行されるたびに異なる結果が得られます。したがって、繰り返し評価を行ってデータセットに対するアルゴリズムのパフォーマンスを要約し、平均分類精度を報告することが推奨されます。学習率とトレーニングエポック数はアルゴリズムのハイパーパラメータであり、ヒューリスティックまたはハイパーパラメータチューニングを使用して設定できます。

パーセプトロンアルゴリズムについて理解できたので、このアルゴリズムを Python で使用する方法を調べてみましょう。

パーセプトロンとScikit-Learn

パーセプトロンアルゴリズムは、Perceptron クラスを通じて scikit-learn Python 機械学習ライブラリで利用できます。このクラスを使用すると、学習率 (eta0) を設定できます。デフォルトでは 1.0 に設定されます。

 # モデルを定義する 
モデル=パーセプトロン( eta0 = 1 .0)

この実装では、トレーニングエポックの合計数 (max_iter) を構成することもできます。デフォルトでは 1,000 に設定されます。

 # モデルを定義する 
モデル=パーセプトロン( max_iter = 1000 )

パーセプトロンアルゴリズムの scikit-learn 実装では、早期停止やペナルティ損失の使用など、検討したいその他の構成オプションも提供されます。実際の例を使用して、パーセプトロン分類器を実証することができます。まず、合成分類データセットを定義しましょう。 make_classification() 関数を使用して、それぞれ 20 個の入力変数を持つ 1,000 個の例のデータセットを作成します。この例では、データセットを作成して要約します。

 # テスト分類データセット 
 sklearn.datasets から make_classification をインポートします 
 #データセットを定義する 
 X, y = make_classification ( n_samples = 1000 、 n_features = 10 、 n_informative = 10 、 n_redundant = 0 、 random_state = 1 )  
 # データセットを要約する 
 print(X.shape, y.shape)

例を実行するとデータセットが作成され、データセット内の行と列の数が確認されます。

 (1000, 10) (1000,)

RepeatedStratifiedKFold クラスを使用して、繰り返し層別 k 分割クロス検証を使用してパーセプトロンモデルを適合および評価できます。テスト設定では、10 回の折り畳みと 3 回の反復を使用します。

 # モデルを作成する 
モデル=パーセプトロン()

合成バイナリ分類タスク用のパーセプトロンモデルを評価する完全な例を以下に示します。

 # データセット上でパーセプトロンモデルを評価する 
 numpyからの平均をインポート 
 numpyからstdをインポート 
 sklearn.datasets から make_classification をインポートします 
 sklearn.model_selection から cross_val_score をインポートします 
 sklearn.model_selection から RepeatedStratifiedKFold をインポートします 
 sklearn.linear_model から Perceptron をインポートします 
 #データセットを定義する 
 X, y = make_classification ( n_samples = 1000 、 n_features = 10 、 n_informative = 10 、 n_redundant = 0 、 random_state = 1 )  
 # モデルを定義する 
モデル=パーセプトロン()  
 # モデル評価方法を定義する 
 cv = RepeatedStratifiedKFold ( n_splits = 10 、 n_repeats = 3 、 random_state = 1 )繰り返し階層化Kフォールド 
 # モデルを評価する 
スコア= cross_val_score (モデル、X、y、スコアリング= '精度' 、 cv cv =cv、 n_jobs =-1)  
 # 結果を要約する 
 print('平均精度: %.3f (%.3f)' % (mean(scores), std(scores)))

この例を実行すると、合成データセットでパーセプトロンアルゴリズムが評価され、10 倍のクロス検証の 3 回の反復にわたる平均精度が報告されます。学習アルゴリズムの確率的な性質を考慮すると、結果は異なる場合があります。例を数回実行することを検討してください。この場合、モデルの平均精度は約 84.7% を達成していることがわかります。

平均精度: 0.847 (0.052)

最終モデルとしてパーセプトロン分類器を使用し、新しいデータに対して予測を行うことに決めるかもしれません。これは、利用可能なすべてのデータにモデルパイプラインを適合させ、新しいデータ行を渡して predict() 関数を呼び出すことによって実現できます。以下に示す完全な例でこれを実証できます。

 # データセットに対してパーセプトロンモデルで予測を行う 
 sklearn.datasets から make_classification をインポートします 
 sklearn.linear_model から Perceptron をインポートします 
 #データセットを定義する 
 X, y = make_classification ( n_samples = 1000 、 n_features = 10 、 n_informative = 10 、 n_redundant = 0 、 random_state = 1 )  
 # モデルを定義する 
モデル=パーセプトロン()  
 # 適合モデル 
モデル.fit(X, y)  
 # 新しいデータを定義する 
行= [0.12777556,-3.64400522,-2.23268854,-1.82114386,1.75466361,0.1243966,1.03397657,2.35822076,1.01001752,0.56768485]  
 # 予測する 
 yhat = model.predict ([行])  
 # 予測を要約する 
 print('予測クラス: %d' % yhat)

例を実行すると、モデルが適合され、新しいデータ行のクラスラベル予測が行われます。

予測クラス: 1

次に、モデルのハイパーパラメータの設定について見てみましょう。

パーセプトロンハイパーパラメータの調整

パーセプトロンアルゴリズムのハイパーパラメータは、特定のデータセットに合わせて設定する必要があります。おそらく最も重要なハイパーパラメータは学習率です。学習率を高くするとモデルの学習速度は速くなりますが、スキルが低下する可能性があります。学習率が小さいほどモデルのパフォーマンスは向上しますが、モデルのトレーニングには長い時間がかかる可能性があります。学習率の調査の詳細については、次のチュートリアルをご覧ください: ディープラーニングニューラルネットワークをトレーニングするときに学習率を構成する方法学習率は通常、1e-4 (またはそれ以下) や 1.0 などの小さな対数スケールでテストされます。この場合、次の値をテストします。

 #グリッドを定義する 
グリッド=辞書()  
グリッド['eta0'] = [0.0001, 0.001, 0.01, 0.1, 1.0]

次の例では、GridSearchCV クラスと定義した値のグリッドを使用してこれを示します。

 # パーセプトロンのグリッドサーチ学習率 
 sklearn.datasets から make_classification をインポートします 
 sklearn.model_selection から GridSearchCV をインポートします 
 sklearn.model_selection から RepeatedStratifiedKFold をインポートします 
 sklearn.linear_model から Perceptron をインポートします 
 #データセットを定義する
X, y = make_classification ( n_samples = 1000 、 n_features = 10 、 n_informative = 10 、 n_redundant = 0 、 random_state = 1 )  
 # モデルを定義する 
モデル=パーセプトロン()  
 # モデル評価方法を定義する 
 cv = RepeatedStratifiedKFold ( n_splits = 10 、 n_repeats = 3 、 random_state = 1 )繰り返し階層化Kフォールド 
 #グリッドを定義する 
グリッド=辞書()  
グリッド['eta0'] = [0.0001, 0.001, 0.01, 0.1, 1.0]  
 #検索の定義 
検索= GridSearchCV (モデル、グリッド、スコアリング= '精度' 、 cv cv =cv、 n_jobs =-1)  
 # 検索を実行する 
結果=検索.fit(X, y)  
 # 要約 
 print('平均精度: %.3f' % results.best_score_)  
 print('設定: %s' % results.best_params_)  
 # すべてを要約する 
平均=結果.cv_results_['mean_test_score']  
パラメータ= results.cv_results _['パラメータ']  
 zip(means, params) の mean, param の場合:  
    print(" > %.3f with: %r" % (mean, param))

例を実行すると、繰り返しクロス検証を使用して各構成の組み合わせが評価されます。学習アルゴリズムの確率的な性質を考慮すると、結果は異なる場合があります。例を数回実行してみてください。この場合、学習率がデフォルトよりも小さいほどパフォーマンスが向上することがわかります。学習率 0.0001 と 0.001 はどちらも約 85.7% の分類精度を達成し、デフォルト値の 1.0 では約 84.7% の精度を達成します。

平均精度: 0.857  
設定: {'eta0': 0.0001}  
 > 0.857、{'eta0': 0.0001}  
 > 0.857、{'eta0': 0.001}  
 > 0.853、{'eta0': 0.01}  
 > 0.847、{'eta0': 0.1}  
 > 0.847、{'eta0': 1.0}

もう 1 つの重要なハイパーパラメータは、モデルのトレーニングに使用するエポックの数です。これはおそらくトレーニングデータセットに依存し、大きく異なる可能性があります。ここでも、1 から 1e+4 までの対数スケールで構成値を調べます。

 #グリッドを定義する 
グリッド=辞書()  
グリッド['max_iter'] = [1, 10, 100, 1000, 10000]

前回の検索からの良好な学習率 0.0001 を使用します。

 # モデルを定義する 
モデル=パーセプトロン( eta0 =0.0001)

グリッドでトレーニングエポックの数を検索する完全な例を以下に示します。

 # パーセプトロンのグリッド検索合計エポック 
 sklearn.datasets から make_classification をインポートします 
 sklearn.model_selection から GridSearchCV をインポートします 
 sklearn.model_selection から RepeatedStratifiedKFold をインポートします 
 sklearn.linear_model から Perceptron をインポートします 
 #データセットを定義する 
 X, y = make_classification ( n_samples = 1000 、 n_features = 10 、 n_informative = 10 、 n_redundant = 0 、 random_state = 1 )  
 # モデルを定義する 
モデル=パーセプトロン( eta0 =0.0001)  
 # モデル評価方法を定義する 
 cv = RepeatedStratifiedKFold ( n_splits = 10 、 n_repeats = 3 、 random_state = 1 )繰り返し階層化Kフォールド 
 #グリッドを定義する 
グリッド=辞書()
グリッド['max_iter'] = [1, 10, 100, 1000, 10000]  
 #検索の定義 
検索= GridSearchCV (モデル、グリッド、スコアリング= '精度' 、 cv cv =cv、 n_jobs =-1)  
 # 検索を実行する 
結果=検索.fit(X, y)  
 # 要約 
 print('平均精度: %.3f' % results.best_score_)  
 print('設定: %s' % results.best_params_)  
 # すべてを要約する 
平均=結果.cv_results_['mean_test_score']  
パラメータ= results.cv_results _['パラメータ']  
 zip(means, params) の mean, param の場合:  
    print(" > %.3f with: %r" % (mean, param))

例を実行すると、繰り返しクロス検証を使用して各構成の組み合わせが評価されます。学習アルゴリズムの確率的な性質を考慮すると、結果は異なる場合があります。例を数回実行してみてください。この場合、分類精度は 10 から 10,000 までほぼ同じであることがわかります。興味深い例外としては、学習率とトレーニングエポック数の両方を構成して、より良い結果が得られるかどうかを確認することが挙げられます。

平均精度: 0.857  
設定: {'max_iter': 10}  
 > 0.850 の場合: {'max_iter': 1}  
 > 0.857、{'max_iter': 10}  
 > 0.857、{'max_iter': 100}  
 > 0.857、{'max_iter': 1000}  
 > 0.857、{'max_iter': 10000}