PyTorch の 4 分間のチュートリアルで線形回帰の実行方法を学びます

[[271978]]

ビッグデータダイジェスト制作

編纂者：洪英飛、寧静

PyTorch は、ディープラーニングフレームワークライブラリの 1 つです。これは Facebook のオープンソースディープラーニングプラットフォームであり、研究プロトタイプから本番環境への展開までシームレスに移行できます。

この記事の目的は、PyTorch の基礎を紹介し、初心者が 4 分以内に Python PyTorch の予備コードを書けるようにすることです。

以下に示すすべての関数については、中国語のドキュメントで特定のパラメータと実装の詳細を確認できます。PyTorch の中国語ドキュメントへのリンクは次のとおりです。

https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch/

コーディング前の準備

コンピュータに Python パッケージをインストールし、numpy などの科学計算パッケージをインポートする必要があります。最も重要なのは、PyTorch をインポートすることを忘れないでください。次の実行結果はすべて、jupyter ノートブックで取得されたものです。興味のある読者は、jupyter ノートブックに付属している Anaconda を自分でダウンロードできます。 (注: Anaconda は、複数のバージョンの Python の仮想コンパイル環境をサポートしています。Jupyter ノートブックは、コードをセルに分割する Web ベースのコンパイルインターフェイスです。実行結果をリアルタイムで確認できるため、非常に便利です!)

ソフトウェアの設定とインストールに関するチュートリアルはインターネット上にたくさんあるので、ここでは詳しく説明しません。書籍から得られる知識は常に浅いものであり、本当に理解するには実践する必要があります。さっそく Pytorch の世界に飛び込んでコーディングを始めましょう!

テンソル

テンソル型は、ニューラルネットワークフレームワークの重要な基本データ型です。これは、単一のデータ型の要素を含む多次元行列として簡単に理解できます。テンソルは演算を通じて接続され、計算グラフを形成します。

次のコード例では、2*3 の 2 次元テンソル x を作成し、データ型を浮動小数点 (Float) として指定します。

輸入トーチ
#テンソル
x = torch.FloatTensor ([[1,2,3],[4,5,6]])
 print(x.size(),"\n",x)

操作結果:

PyTorch には、テンソルに対する数学演算が多数含まれています。それ以外にも、Tensor やその他の任意のデータ型の効率的なシリアル化などの便利なユーティリティが多数提供されます。

以下は Tensor の加算/減算の例です。torch.ones(*sizes, out=None) → Tensor は、変数パラメータ sizes によって定義された形状を持つ、すべて 1 のテンソルを返します。この例では、変数 x に、対応する位置に値 1 を持つ 2 つの 2*3 テンソルが追加されます。これは、x + 2 の各次元の値に相当します。コードと実行結果は次のとおりです。

 #テンソルを追加する
x.add_(トーチ.ones([2,3])+トーチ.ones([2,3]))

操作結果:

同様に、PyTorch は減算演算もサポートしています。次の例は、上記の実行結果に基づいて、各次元から 2 を減算して x を元の値に戻すことを示しています。

 #テンソルを減算する
x.sub_(トーチ.ones([2,3])*2)

操作結果:

その他の PyTorch 操作については、上記の中国語のリンクを参照してください。

PyTorch と NumPy

ユーザーは PyTorch と NumPy を簡単に相互に変換できます。

以下は、np.matrix を PyTorch に変換し、次元を 1 列に変更する簡単な例です。

 #Numpy からトーチテンソルへ
numpyをnpとしてインポートする
y = np.matrix ([[2,2],[2,2],[2,2]])
 z = np .matrix([[2,2],[2,2],[2,2]], dtype = "int16" )
 x.short() @ torch.from_numpy(z)

操作結果:

ここで、@ はテンソル乗算のオーバーロード演算子です。x は [[1,2,3],[4,5,6]] の値を持つ 2*3 テンソルです。テンソルに変換された z と乗算されます。z のサイズは 3*2 で、結果は 2*2 テンソルになります。（行列の乗算と同様に、演算結果が分からない読者は行列の乗算演算を見てください）

さらに、PyTorch はテンソル構造の再構築もサポートしています。以下は、テンソル x を 1*6 の 1 次元テンソルに再構築する例です。これは、numpy の reshape 関数に似ています。

 #テンソルの形状を変更する (np.reshape と同様)
 x.view(1,6)

操作結果:

PyTorch から NumPy への変換を概説した GitHub リポジトリは、次のリンクから入手できます。

pytorch の最新バージョンをダウンロード

CPUとGPU

PyTorch では、変数が torch.cuda.device コンテキストマネージャーを使用してデバイスを動的に変更できるようになります。サンプルコードは次のとおりです。

 #変数とコピーをコンピュータデバイス間で移動する
x = torch.FloatTensor ([[1,2,3],[4,5,6]])
 y = np .matrix([[2,2,2],[2,2,2]], dtype = "float32" ) 
 
 
 torch.cuda.is_available() の場合:
 x x =x.cuda();
 y = torch.from_numpy (y).cuda()
 ｚ ＝ ｘ ＋ｙ
印刷(z) 
 
印刷(x.cpu())

操作結果:

PyTorch 変数

変数は Tensor を包む薄いレイヤーに過ぎず、Tensor によって定義されたほぼすべての API をサポートし、自動的にコンパイルされたパッケージの一部として巧妙に定義されます。任意のスカラー値関数の自動微分を実装するクラスと関数を提供します。

以下は、PyTorch 変数の使用例です。v1 と v2 を乗算した結果が v3 に割り当てられます。パラメータ requires_grad の属性は、デフォルトでは False です。ノード requires_grad が True に設定されている場合、それに依存するすべてのノードの requires_grad は True になり、主に勾配計算に使用されます。

 #変数(autograd パッケージの一部)
 #変数（グラフノード）はテンソルを包む薄いラッパーであり、依存関係の知識を持っています
#変数は勾配の逆伝播と自動微分化を有効にします
#侵害時に変数に「揮発性」フラグが設定されます
 
 
 torch.autogradから変数をインポート
v1 =変数(torch.tensor([1.,2.,3.]), requires_grad = False )
 v2 =変数(torch.tensor([4.,5.,6.]), requires_grad = True )
 v3 = v1 * v2 
 
 
 v3.data.numpy()

操作結果:

 #変数はそれを作成したものを記憶する
v3.grad_fn

操作結果:

バックプロパゲーション

バックプロパゲーションアルゴリズムは、入力の重みとバイアスに対する損失の勾配を計算して重みを更新し、最終的に次の最適化反復で損失を減らすために使用されます。PyTorch は、変数がバックプロパゲーションを実行するための後方メソッドを階層的に定義する点で非常にスマートです。

以下は、差を計算するための例として sin(x) をとった簡単なバックプロパゲーション計算方法です。

 #sin(x) の例によるバックプロパゲーション
x =変数(torch.Tensor(np.array([0.,1.,1.5,2.])*np.pi)、 requires_grad = True )
 y =トーチ.sin (x)
 x.grad
 y.backward(torch.Tensor([1.,1.,1.,1])) 
 
 
 #勾配が本当にcox(x)であるかどうか確認する
if( (x.grad.data.int().numpy()==torch.cos(x).data.int().numpy()).all() ):
    印刷 ("d(sin(x)/ dx = cos (x))")

操作結果:

PyTorch での変数と勾配の計算については、次の記事を参照してください。

https://zhuanlan.zhihu.com/p/29904755

SLR: 単純線形回帰

基礎がわかったので、PyTorch を使用して単純な機械学習の問題、つまり単純な線形回帰を解決し始めることができます。これを 4 つの簡単な手順で実行します。

最初のステップ:

ステップ 1 では、y = wx + b という式で生成された人工データセットを作成し、ランダムエラーを挿入します。次の例を参照してください。

 #単純線形回帰
# データに線を当てはめます。Y = w .x +b
 #決定論的な動作
np.ランダムシード(0)
トーチ.マニュアル_シード(0)
 #ステップ1:データセット
w = 2 ; b = 3  
 x = np.linspace (0,10,100)
 y = w *x+b+np.random.randn(100)*2
 x x =x.reshape(-1,1)
 y y =y.reshape(-1,1)

ステップ2:

ステップ 2 では、入力データに対して線形変換を実行するために、forward 関数と torch.nn.Linear を使用するコンストラクターを備えた単純なクラス LinearRegressionModel を定義します。

 #ステップ2:モデル
クラス LinearRegressionModel(torch.nn.Module): 
     
    def __init__(self, in_dimn, out_dimn):
        super(線形回帰モデル、self).__init__()
 self.model = torch.nn.Linear (in_dimn,out_dimn) 
         
    def forward(self,x):
 y_pred =自己.model(x);
        y_pred を返します。 
     
モデル=線形回帰モデル( in_dimn = 1 、 out_dimn = 1 )

torch.nn.線形参照ウェブサイト:

pytorch.org/docs/stable/_modules/torch/nn/modules/linear.html を参照してください。

ステップ3:

次のステップ: コスト関数として MSELoss を使用し、オプティマイザーとして SGD を使用してモデルをトレーニングします。

 #ステップ3: トレーニング
コスト= torch.nn.MSELoss ()
オプティマイザー= torch.optim.SGD (model.parameters(), lr = 0.01 , momentum = 0.9 )
入力=変数(torch.from_numpy(x.astype("float32")))
出力=変数(torch.from_numpy(y.astype("float32"))) 
 
 
エポックが範囲(100)の場合:
 #3.1 フォワードパス:
 y_pred =モデル（入力） 
     
 #3.2 計算損失
損失=コスト(y_pred、出力) 
     
 #3.3 バックワードパス
    オプティマイザ.zero_grad();
    損失.後方()
    オプティマイザ.ステップ()
    (エポック+1)% 10 == 0の場合:
        print("epoch{},loss{}".format(epoch+1,loss.data))

操作結果:

MSELoss リファレンスウェブサイト: https://pytorch.org/docs/stable/_modules/torch/nn/modules/loss.html
SGD リファレンスウェブサイト: https://pytorch.org/docs/stable/_modules/torch/optim/sgd.html

ステップ4:

トレーニングが完了したら、モデルを視覚的に検査してみましょう。

 #ステップ4:モデルを表示して確認する
matplotlib.pyplot を plt としてインポートします。
 plt.figure(図サイズ=(4,4))
 plt.title("モデルとデータセット")
 plt.xlabel("X");plt.ylabel("Y")
 plt.grid()
 plt.plot(x,y,"ro",ラベル= "DataSet" 、マーカー= "x" 、マーカーサイズ= 4 )
 plt.plot(x,model.model.weight.item()*x+model.model.bias.item(), label = "回帰モデル" )
 plt.凡例();plt.表示()