無料の Python 機械学習コース パート 2: 多重線形回帰

Python で任意の数の変数に対する多重線形回帰をゼロから開発する方法を学びます。

線形回帰はおそらく最も単純な機械学習アルゴリズムです。シンプルな数式を使用しているため、初心者には非常に便利です。したがって、機械学習の概念を学ぶのに非常に役立ちます。この記事では、多重線形回帰を段階的に説明してみたいと思います。

[[358868]]

概念と公式

線形回帰では、学校で習った簡単な式を使用します。

Y = C + AX

念のため、Y は出力または従属変数、X は入力または独立変数、A は傾き、C は切片です。

線形回帰の場合、同じ式に対して次の表記法に従います。

独立変数が複数ある場合、線形回帰の式は次のようになります。

ここで、「h」は仮説と呼ばれます。これは予測の出力変数です。 Theta0 はバイアス項であり、他のすべての theta 値は係数です。最初はランダムに開始され、その後アルゴリズムを使用して最適化されるため、この式は従属変数を正確に予測できます。

コスト関数と勾配降下法

シータ値が最初から初期化されている場合、数式は従属変数を予測するようにトレーニングされません。この仮定は、元の出力変数「Y」とはかけ離れています。すべてのトレーニング データの累積距離を推定する式は次のとおりです。

これをコスト関数と呼びます。ご存知のように、y (元の出力) を仮説 (予測された出力) から減算し、それを二乗して負の数を取り除き、その合計を 2 倍の m で割ります。ここで、mはトレーニングデータの数です。コスト関数は、元の出力と予測された出力の差を示すものとして考えることができます。機械学習アルゴリズムの考え方は、元の出力と予測出力の差が小さくなるようにコスト関数を最小化することです。これを行うには、theta の値を最適化する必要があります。

これが theta の値を更新する方法です。コスト関数を各シータ値に関して部分的に微分し、その値を既存のシータ値から減算します。

ここで、アルファは学習率であり、定数です。すべてのシータ値に対して同じ式を示したわけではありません。しかし、これはすべてのシータ値に対して同じ式です。微分すると、式は次のようになります。

これを勾配降下法と呼びます。

アルゴリズムを段階的に実装する

私が使用するデータセットは、Andre Ng の Coursera 機械学習コースから取得したものです。このページの下部にリンクを貼っておきます。データセットをダウンロードして、このチュートリアルで練習してみてください。初めての場合は、データセットの読み取りを練習することをお勧めします。それが理解できる唯一の方法です。

このデータセットには変数が 2 つだけあります。しかし、私は任意の数の変数に対して機能するアルゴリズムを開発しました。同じアルゴリズムを 10 個の変数または 20 個の変数に使用しても、機能するはずです。 Python では Numpy と Pandas のライブラリを使用します。これらの豊富な Python ライブラリにより、機械学習アルゴリズムが簡単になります。パッケージとデータセットをインポートします。

 pandasをpdとしてインポートする
numpyをnpとしてインポートする
 
 df = pd .read_csv('ex1data2.txt',ヘッダー=なし)
 df.head()

（１）部分項に列を追加する。 1 が選択される理由は、値を任意の値で乗算しても、値は変化しないからです。

 df = pd .concat([pd.Series(1,インデックス= df .index,名前= '00' ), df],軸= 1 )
 df.head()

（２）入力変数または独立変数Xと出力変数または従属変数yを定義します。このデータセットでは、列 0 と 1 が入力変数であり、列 2 が出力変数です。

 X = df .drop(列数= 2 )
 y = df .iloc[:, 3]

（３）各列をその列の最大値で割って入力変数を標準化する。こうすることで、各列の値は 0 から 1 の間になります。この手順は必須ではありません。しかし、これによりアルゴリズムはより早く最適値に到達できるようになります。また、データセットに注目すると、列 0 の要素は列 1 の要素に比べて大きすぎることがわかります。データセットを正規化すると、最初の列がアルゴリズムを支配するのを防ぐことができます。

 iが範囲(1, len(X.columns))内にある場合:
    X[i-1] = X[i-1]/np.max(X[i-1])
 X.head()

（４）シータ値を初期化する。ゼロに初期化します。ただし、他の番号でも問題ありません。

シータ= np .array([0]*len(X.columns))
 #出力: 配列([0, 0, 0])

（５）上式でmで表される訓練データの数を計算する。

 m =長さ(自由度)

（６）仮説関数を定義する

def hypothesis(theta, X):
    theta*Xを返す

（７）上記のコスト関数式を用いてコスト関数を定義する

def computeCost(X, y, theta):
 y1 =仮説(theta, X)
 y1 = np .sum(y1,軸= 1 )
    sum(np.sqrt((y1-y)**2))/(2*47) を返します。

（８）勾配降下関数を記述してください。この関数は、X、y、θ、学習率 (数式内のアルファ)、エポック (または反復) を入力として受け取ります。コスト関数が最小値に達するまで、theta を更新し続ける必要があります。

定義gradientDescent(X, y, theta, alpha, i):
 J = [] #各反復におけるコスト関数
0 = 0です 
    一方、k <  私：          
 y1 =仮説(theta, X)
 y1 = np .sum(y1,軸= 1 )
        cが範囲(0, len(X.columns))内にある場合:
            θ[c] = θ[c] - アルファ*(sum((y1-y)*X.iloc[:,c])/len(X))
 j =コスト計算(X, y, θ)
        J.append(j)
        1 + = 1
    J、j、thetaを返す

（９）勾配降下関数を使用して、最終コスト、各反復のコストのリスト、および最適化されたパラメータθを取得します。アルファを0.05に選択しました。ただし、0.1、0.01、0.03、0.3 などの他の値を試して、何が起こるかを確認することもできます。これを 10000 回繰り返して実行しました。違いを確認するには、反復回数を増やしたり減らしたりしてみてください。

 J, j, theta = gradientDescent (X, y, theta, 0.05, 10000)

（10）最適化されたシータを使用して出力を予測する

y_hat =仮説(theta, X) y_hat = np.sum (y_hat,軸= 1 )

(11) 元のyと予測出力y_hatをプロットする

%matplotlib インライン
matplotlib.pyplot を plt としてインポートします。
 plt.figure()
 plt.scatter( x =リスト(範囲(0, 47)), y y = y,色= 'blue' )
 plt.scatter( x =リスト(範囲(0, 47))、 y = y_hat 、色= 'black' )
 plt.show()

いくつかの出力ポイントは予測出力とほぼ重なります。いくつかは近いですが、重複していません。

（12）各反復のコストをプロットして動作を確認する

plt.figure()
 plt.scatter( x =リスト(範囲(0, 10000)), y = J )
 plt.show()

反復ごとにコストは減少します。これはアルゴリズムがうまく機能していることを示しています。

これが役に立ち、自分で試してみることができれば幸いです。機械学習の概念を学ぶために、この章を読みながらデータセットをダウンロードし、すべてのコードを自分で実行してみることをお勧めします。データセットへのリンクは次のとおりです。

https://github.com/rashida048/Machine-Learning-With-Python/blob/master/ex1data2.txt