線形回帰の勾配降下アルゴリズムのオクターブシミュレーション

[[190464]]

勾配降下法の理論部分では、導出プロセスが非常にわかりにくいと嘆いたことがあり、より直感的な感覚が得られるシミュレーションを期待していました。昨晩、Octave シミュレーションを終えたとき、達成感を抑えるのは難しかったです。シミュレーションのプロセスと結果を共有し、前回の記事で十分に理解できなかった部分を補います。

勾配降下法アルゴリズムでは、連続微分法を使用して、このアルゴリズムの非常に重要な 2 つの式を取得します。1 つは J(θ) の解の式で、もう 1 つは θ の解の式です。

シミュレーションでは、これら 2 つの式を直接使用して、J(θ) の分布面と θ の解の経路を描画します。

提案は次のとおりです。チェーンレストラン会社の新店舗開店の利益を予測しています。チェーングループの店舗の地域人口データと利益額は持っています。線形回帰アルゴリズムを使用して人口と利益の関係を確立し、新店舗の利益を予測して店舗の運営見通しを評価する必要があります。

まず、下の図に示すように、会社のデータを座標グラフにプロットします。構築する必要があるモデルは、人口と利益の関係に最もよく適合する直線です。そのモデルは次のとおりです。

θ を近似するプロセスでは、次のように勾配降下法を実装します。1500 回の反復 (最適な適合点に向かって 1500 ステップを実行することに相当) の後、1500 ステップ後に θ=[-3.630291,1.166362] が得られます。3000 回の反復の後、その値は [-3.878051,1.191253] になります。これを 100,000 回実行すると、その値は [-3.895781,1.193034] になります。初期のステップは非常に大きく、その後、最適点までの距離が近づくにつれて、勾配がどんどん小さくなり、ステップもどんどん小さくなることがわかります。計算時間を節約するには、1500 ステップで十分な反復回数になります。その後、近似曲線を描くと、近似度が良好であることがわかります。

次の図はJ(θ)の分布面です。

次は、等高線マップ上で見つけた最適な θ 値の位置です。これは実際には前の図と重なることがあります。

キーコードは次のとおりです。

1. j(theta)を計算する

関数J = computeCost(X, y, theta)
 %COMPUTECOST線形回帰の計算コスト
% J = COMPUTECOST(X, y, theta )はthetaを
Xとyのデータポイントを適合させるための線形回帰の%パラメータ
  
 %いくつかの有用な値を初期化する 
 m = length(y); %トレーニング例の数
  
 ％必要がある 次の変数を正しく返す
0 = 0; 
  
 % ======================== ここにあなたのコードを入力 =======================
 % 手順:特定のθ選択のコストを計算する
% Jをコストに設定する必要があります。
    h = X*シータ;
    e = hy;
    J = e'*e/(2*m)
 % ========================================================================= 
  
終わり 

2. 勾配降下アルゴリズム:

関数[theta, J_history] ​​= gradientDescent(X, y, theta, alpha, num_iters)
 %GRADIENTDESCENT 勾配降下法を実行してθを学習する
% theta = GRADIENTDESENT(X, y, theta, alpha, num_iters)はthetaを次のように更新します。  
 %学習率 alphaでnum_iters の勾配ステップを実行
  
 %いくつかの有用な値を初期化する 
 m = length(y); %トレーニング例の数
J_history = ゼロ(num_iters、1); 
  
反復回数 = 1:num_iters 
  
    % ======================== ここにあなたのコードを入力 =======================
    % 手順:パラメータベクトルに対して単一の勾配ステップを実行する
    % シータ。
    %
    % ヒント: デバッグ中に、値を印刷すると便利です 
    ここではコスト関数(computeCost)の%と勾配を示します。
    % 
      
    h=X*シータ;
    e=ハイ;
    シータ = シータ-アルファ*(X'*e)/m; 
  
    % ============================================================ 
  
    %各反復でコストJを節約する
    J_history(iter) = computeCost(X, y, theta); 
  
終わり  
  
終わり