Windows コンピューターでディープラーニング モデルをトレーニングしますか?非常に詳細な設定チュートリアルはこちら

ほとんどのディープラーニング モデルは Linux システムでトレーニングされていますが、Windows も非常に重要なシステムであり、おそらく多くの機械学習初心者にとってより馴染みのあるシステムです。 Windows 上でモデルを開発するには、まず開発環境を構成する必要があります。 Kaggle マスターであり機械学習の実践者である Abhinand は、自身の実践に基づいて、シンプルで使いやすい Windows ディープラーニング環境の構成プロセスを紹介します。

[[345984]]

この記事では、必要なツールやドライバー ソフトウェアのインストールなど、Windows コンピューター上でディープ ラーニング環境を構成するプロセスについて説明します。驚くべきことに、ディープラーニング環境を構築するだけでも簡単な作業ではありません。途中で間違いを犯す可能性は十分にあります。私は個人的にディープラーニング環境をゼロから何度も構成してきましたが、通常はプログラマーにとってより使いやすいオペレーティング システムである Linux を使用しています。

Windows オペレーティング システムの場合、このプロセスを詳しく説明する記事はあまりありません。そこで自分で試してみることにしました。ここ数日、何度も試行錯誤を繰り返した結果、ようやく解決策を見つけました。この方法は機能するだけでなく、私がこれまで見た他のチュートリアルよりもはるかに簡単です。

このチュートリアルは誰を対象にしていますか? また、なぜ Windows を使用するのですか?

信じてください、私自身は Windows 上で CUDA をいじるのは好きではありません。しかし、開発者がディープラーニングやプログラム開発専用ではないラップトップやより強力なハードウェアで作業しなければならない状況に遭遇することがよくあります。このような状況では、必ずしも Windows の使用を避けることはできません。このような状況にある場合、または Windows コンピューターをお持ちの場合、あるいは Linux の使用にまだ慣れていない場合は、このガイドが間違いなく役立ちます。

この記事の内容は次のとおりです。

最低限のハードウェアおよびソフトウェア要件

Pythonと必要なツールをインストールする

開発環境の設定

GPU 用語集

GPUドライバーをインストールする

TensorFlow (CPU と GPU) をインストールする

PyTorch (CPU と GPU) をインストールする

インストールを確認する

私の個人的な経験と代替案

最低限のハードウェアおよびソフトウェア要件

このガイドに従って GPU を使用する予定の場合は、NVIDIA GPU を使用する必要があります。

ディープラーニング アプリケーションの開発にはニューラル ネットワークのトレーニングが含まれ、当然ながら大量の計算を実行する必要があります。したがって、ますます並列コンピューティングが必要となり、GPU は私たちのニーズを満たすことができます。これは、現在 GPU の需要が高い主な理由の 1 つでもあります。ほとんどのディープラーニング フレームワークにはネイティブの GPU アクセラレーション サポートが付属しており、開発者や研究者は GPU プログラミングを実行することなく、数分以内に GPU を使用して計算を行うことができます。

これらのフレームワークのほとんどは CUDA (のみ) をサポートしていますが、これは NVIDIA GPU でのみ利用可能であるため、NVIDIA GPU を使用する必要があります。ただし、AMD GPU を使用することは不可能ではありません。詳細については、https://rocmdocs.amd.com/en/latest/ を参照してください。

ただし、GPU がない場合でも、このチュートリアルに従うことができます。しかし、ディープラーニングを効果的に行うには、少なくとも適切な CPU、メモリ、ストレージ容量が必要です。

私のハードウェア - ラップトップの構成は次のとおりです。

CPU – AMD Ryzen 7 4800HS 8C -16T @ 4.2GHz ターボ

RAM – 16 GB DDR4 RAM @ 3200MHz

GPU – Nvidia GeForce RTX 2060 Max-Q @ 6GB GDDR6 メモリ

ハードウェア構成としては、少なくとも 4 コア 2.6 GHz CPU、16 GB の RAM、6 GB のビデオ メモリを搭載した Nvidia GPU をお勧めします。

また、このチュートリアルでは、もちろん Windows 10 を使用する必要があります。また、Python パッケージと環境に関する基本的な知識があることも前提としています。いずれにせよ、後ほど説明させていただきます。

推奨される Windows バージョンは、最新の 64 ビット Windows 10 安定バージョンです。

このチュートリアルでは、オペレーティング システムが新規インストールされ、追加の変更が行われていないことを前提としています。ただし、何をしているのかを理解している限り、このチュートリアルに従うことは可能です。

Pythonと必要なツールをインストールする

最初のステップは、もちろん Python をインストールすることです。 Python をインストールするには、Mini-Conda を使用することをお勧めします。まずは初心者の方にその理由を説明しましょう。

Conda は、さまざまなソフトウェア パッケージのインストール、管理、削除に役立つパッケージ管理ツールです。しかし、Conda が唯一の選択肢ではなく、Python 用の私のお気に入りのデフォルトのパッケージ管理ツールである pip もあります。ここで Conda を選択する理由は、Windows で使用する方がシンプルで簡単だからです。

Anaconda と Mini-Conda はどちらも Conda のソフトウェア ディストリビューションで、非常に便利なデータ サイエンス/機械学習パッケージがプリインストールされているため、多くの時間を節約できます。 Anaconda には、データ サイエンスと機械学習に役立つ 150 を超えるパッケージが含まれており、基本的に必要なものはすべて揃っていますが、Mini-Conda にはいくつかの必須ツールとパッケージのみが含まれています。

インストールするパッケージを（ほぼ）完全に制御したいので、Mini-Conda を使用することをお勧めします。何をインストールするかを正確に把握することは決して悪いことではありません。もちろん、これによりストレージスペースを節約できるほか、おそらく使用しないであろう奇妙なソフトウェア パッケージを何十個もイ​​ンストールする必要がなくなります。

Mini-Conda をインストールするには、https://docs.conda.io/en/latest/miniconda.html にアクセスしてください。

Windows 64 ビット用の Python3 インストーラーをダウンロードし、他の Windows ソフトウェアと同じようにインストールします。 Conda と Python を PATH に追加するかどうかを尋ねるボックスを必ずチェックしてください。

次のコマンドを実行すると、Conda と Python が正常にインストールされているかどうかを確認できます。インストールが成功するとバージョン番号が表示されます。そうでない場合は、Mini-Conda を再度正しくインストールし、PATH に追加する必要があります。

次のステップは、jupyter-notebook をインストールすることです。これを行うには、コマンド ライン インターフェイスで次のコマンドを使用します。

jupyter notebook を実行してインストールを確認すると、ブラウザで Jupyter Notebook が開きます。

開発環境の設定

このステップは重要ですが、多くの人が見落としています。既知のパッケージをすべて含む Anaconda のようなツールを使用するのは理解できますが、独自のプロジェクトを開発して実際に何かを構築したい場合は、そのプロジェクトまたは作業の性質に合わせてカスタマイズされた開発環境が必要になる場合があります。専用の仮想環境を使用するもう 1 つの大きな利点は、パッケージをグローバル設定から分離できることです。こうすることで、その環境でパッケージの使用を間違えた場合でも、グローバル パッケージに影響を与えることなく簡単に破棄できます。

これにより、以前のバージョンの Python を使用して環境を作成する柔軟性も得られます。こうすることで、まだ安定していない新機能の使用を避け、サポートに基づいてアップグレードを選択できます。

Conda 環境の作成は非常に簡単です。説明のために、tensorflow という名前の環境を作成しましたが、任意の名前に変更できます。 TensorFlow が Python 3.7 を適切にサポートしていることがわかっているので、Python 3.7 を使用します。ちなみに、ここにTensorFlowをインストールするのですが、PyTorchをインストールするためにtorchという環境も作成します。

環境が作成されると、次のコマンドを使用してその環境に入ることができます。ここで、tensorflow は、先ほど環境に付けた名前です。

環境に入ると、プロンプト ボックスの左側に次のような情報が表示されます。

Powershell でこのメッセージが表示されない場合は、Powershell で conda を一度初期化する必要がある可能性があります。

すると、上の図に示すように、左側に (ベース) が表示されますが、この時点ではどの環境にもいません。その後、任意の環境に入ると、環境名が表示されるはずです。

さらに、nb ツールを環境にインストールし、先ほどインストールした Jupyter Notebook にリンクすることもできます。

Jupyter Notebook に環境を登録するには、次のコマンドを実行します。

Conda 環境を終了するには、次のコマンドを実行します。

次に、同じ手順に従って、torch という名前の環境を作成します。

環境が正常に設定されている場合は、環境リストに表示されます。

各環境に独自のパッケージがインストールされていることを確認するには、各環境に移動して conda list を実行します。これにより、その環境にインストールされているすべてのパッケージが表示されます。

このリストが長いという事実に悩まされないでください。 Conda はすでに主要な部分と依存関係を処理しています。

GPU 用語集

GPU 関連のソフトウェアをインストールする前に、これらのソフトウェアが何であるか、なぜ必要なのかを理解する必要があります。

GPU ドライバー: 名前が示すように、GPU ドライバーは、オペレーティング システムとプログラムが GPU ハードウェアを使用できるようにするソフトウェアです。ゲーマーならきっとこのことはよく知っているでしょう。ゲームをプレイするのが好きな場合、最高のゲーム体験を得るためにこのソフトウェアを最新の状態に保つ必要がある場合があります。

CUDA: 簡単に言えば、これは NVIDIA によって開発されたプログラミング インターフェイス レイヤーであり、GPU の命令セットと並列コンピューティング ユニットを呼び出すことができます。

2010 年代後半の GeForce 8 シリーズ GPU 以降、ほぼすべての GPU は CUDA と互換性があります。 GPU が CUDA 対応かどうかを確認するには、Nvidia の Web サイトにアクセスしてください。

たとえば、コンシューマー向け GPU をお持ちの場合は、それが GeForce シリーズであっても Titan シリーズであっても、下の図で GPU が CUDA をサポートしているかどうかを確認できます。

データは2020年9月時点のものであり、スクリーンショットには一部のモデルのみが含まれています。

お使いのコンピューターがラップトップの場合は、右側のリストを確認する必要があります。コンピューターがデスクトップの場合は、当然、左側のリストを確認する必要があります。

前述したように、私の GPU は右側のリストにある RTX 2060 Max-Q です。また、グラフィック カードのモデル名がこのリストの名前と正確に一致するかどうかを心配する必要はありません。Max-Q と Super の基盤となるアーキテクチャは同じで、TDP、CUDA コアとテンソル コアの数に若干の違いがあるだけです。

たとえば、GPU が RTX 2080 Super、2080 Max-Q、2080 Super Max-Q のいずれであっても、リストで RTX 2080 を確認するだけで十分です。ただし、GPU が RTX 2080Ti または Ti が追加された他のモデルである場合は、その GPU がシリーズ内で最も高性能なモデルであることを意味します。これらの GPU は通常、ビデオ メモリのサイズや CUDA コアとテンソル コアの数においてより多くの利点があります。

2020 年 9 月現在、TensorFlow 2.0 を使用するには、グラフィック カードのコンピューティング能力が 3.5 より高くなければなりませんが、より良いエクスペリエンスを得るには、コンピューティング能力が少なくとも 6 のグラフィック カードを使用することをお勧めします。 TensorFlow 2.0 には CUDA バージョン 10 も必要であり、そのためには少なくとも 418.x のドライバー バージョンが必要です。

PyTorch には少なくとも CUDA バージョン 9.2 が必要ですが、10.1 と 10.2 もサポートされています。必要なコンピューティング能力は少なくとも 3.0 以上です。

CuDNN: CUDA ディープ ニューラル ネットワーク ソフトウェア ライブラリ。ディープ ニューラル ネットワーク用の GPU アクセラレーション プリミティブ ライブラリです。 cuDNN は、順方向および逆方向畳み込み、プーリング、正規化、および活性化レイヤーなどの標準ルーチンの高度に調整された実装を提供します。

(オプション) TensorRT: NVIDIA TensorRT は、高性能ディープラーニング インターフェイス用の SDK です。これには、ディープラーニング インターフェイス オプティマイザーとランタイム オプティマイザーが含まれており、ディープラーニング インターフェイス アプリケーションに低レイテンシと高スループットの特性を提供できます。

GPUドライバーをインストールする

まず、使用している GPU モデルを把握する必要があります。また、GPU で CUDA が有効になっている必要があります。

ドライバーをまだインストールしていない場合は、Windows Update を実行する必要があります。これにより、Nvidia コントロール パネルなどの便利なソフトウェアのインストールが自動的に処理されます。これにより、GPU に関する情報や、この記事に関係のないいくつかの設定を取得できるようになります。

NVIDIA コントロール パネルの準備ができたら、[スタート] メニューから開くか、デスクトップを右クリックして [NVIDIA コントロール パネル] を選択して開くことができます。

開いたら、「ヘルプ→システム情報」をクリックして、GPU ドライバーのバージョンを確認できます。ドライバーのバージョン番号は、[詳細] ウィンドウの上部に表示されます。

上の図に示すように、私のドライバー バージョンは 456.x であり、最小要件の 418.x をはるかに上回っているため、新しいドライバーをインストールする必要はありません。

しかし、あなたのコンピュータはそうではないかもしれません。最新バージョンのドライバーをインストールするには、https://www.nvidia.com/Download/index.aspx にアクセスし、GPU 情報を入力して、適切なドライバーをダウンロードしてください。

‍ドライバーをダウンロードした後、インストール パッケージを実行すると、クイック インストールを選択しやすくなります。ドライバーのインストールが完了したら、NVIDIA コントロール パネルを使用して確認できます。

ドライバーをインストールする別の方法は、Nvidia の GeForce Experience アプリケーションを使用することです。ゲームに重点を置いたコンピュータを購入する場合、このソフトウェアがプリインストールされているはずです。インストール手順は簡単です。

この手順はオプションです。上記の手順に従ってすでにドライバーをインストールしている場合、またはコンピューターにソフトウェアがプリインストールされていない場合は、この手順について心配する必要はありません。

プログラムはここからダウンロードできます: https://www.nvidia.com/en-in/geforce/geforce-experience/ その後、インストール プロセスに従ってコンピューターにインストールします。インストールが完了したら、それを開き、「ドライバー」タブに移動して、更新を確認し、新しいドライバーをインストールします。このアプリケーションでドライバーのバージョン番号を確認することもできます。

GeForce Experience デモ

ドライバーのインストールにおける最も重要なステップが完了したので、CUDA ツールキットを手動でインストールするか、TensorFlow または PyTorch のインストール時に Conda にインストールを任せるかを選択できます (後者を強くお勧めします)。

手動でインストールする場合は、https://developer.nvidia.com/cuda-downloads からインストール パッケージをダウンロードし、指示に従ってください。

CUDAツールキットをインストールする

CUDA ツールがパッケージ化されたら、cmd または Powershell で nvidia-smi コマンドを実行して確認できます。

nvidia-smiの出力

TensorFlowをインストールする

さて、いよいよこのチュートリアルの核心に迫ります。前の手順を完了していれば、この手順は非常に簡単になります。

Conda を通じて TensorFlow 2.x をインストールします。

まず、先ほど作成した Tensorflow 環境に入り、操作することに注意してください。

GPU サポートが必要な場合は、次のコマンドを実行します。

Anaconda チャネルを通じて TensorFlow の GPU サポート ソフトウェアをインストールします。 TensorFlow をインストールするために pip ではなく conda を使用する大きな利点の 1 つは、conda パッケージ管理システムです。 conda を使用して TensorFlow をインストールすると、conda によって必要な互換性のあるすべての依存パッケージもインストールされます。このプロセスは自動的に行われるため、ユーザーはシステム パッケージ マネージャーやその他の手段を使用して追加のソフトウェアをインストールする必要はありません。

また、TensorFlow または PyTorch に必要な CUDA ツールキットの適切なバージョンも含まれています。したがって、conda を使用すると、このプロセスは非常に簡単になります。

TensorFlow GPU がインストールされている環境にインストールされている CUDA ツールキットのみが表示されます。これはグローバル システムの CUDA バージョンには影響せず、TensorFlow と PyTorch の異なる CUDA バージョン要件も満たすことができます。これは、異なる仮想環境を完全に分離できる仮想環境を使用する最大の利点です。

すべてがうまくいけば、インストール中にエラー メッセージは表示されません。

TensorFlow と必要なパッケージが正常にインストールされたことを確認するには、conda list を実行します。これにより、インストールされているパッケージの一覧が表示され、CUDA ツールキットとともに TensorFlow 関連のパッケージが見つかります。

Python プロンプトを開いて、TensorFlow がインストールされていることを確認することもできます。

バージョン番号が表示されたら、おめでとうございます。TensorFlow は正常にインストールされました。ミッション完了。

Python プロンプトで TensorFlow のインストールを確認します。

Python プロンプトで TensorFlow を使用すると、「動的ライブラリを開きました」というメッセージが表示されることがありますが、これは悪いニュースではありません。これは、TensorFlow がこれらのライブラリを開くことができることを示す単なるログ メッセージです。

GPU へのインストールの検証については以下で説明します。

CPU のみを使用して TensorFlow をインストールする場合は、インストール コマンドに簡単な変更を加える必要があります。

これにより、CUDA ツールキットと GPU サポートなしで TensorFlow がインストールされます。

PyTorchをインストールする

PyTorch をインストールするプロセスは、実際には TensorFlow のインストールとそれほど変わりません。 conda を使用すると、これが非常に簡単になります。

まず、作成したトーチ環境に入ります。

CUDA サポート付きの PyTorch をインストールする場合は、次のコマンドを使用します。

このコマンドは、Conda の PyTorch チャネルを通じて PyTorch の CUDA 互換バージョンをインストールします。

CPU のみの PyTorch を使用する場合は、上記のコマンドから cudatookit を削除するだけです。

これにより、CUDA サポートなしで PyTorch がインストールされます。

前と同様に、conda list を使用してインストールを確認するか、次のコードを使用して Python で実行できます。

バージョン番号が返された場合、PyTorch は正常にインストールされています。

インストールを確認する

すべてが順調に進んでいると思ってツールの使用を開始すると、重大なエラーが発生することがあります。このような状況に遭遇した場合、機械に問題があるか、プロセスにエラーがある可能性があります。一般化することはできず、それぞれの特定の問題を個別に分析する必要があります。

インストールをより適切に検証し、TensorFlow と PyTorch が意図したハードウェアを使用していることを確認できるように、いくつかの注意事項を示します。

これらは、https://github.com/abhinand5/blog-posts の dl-setup-win フォルダーにあります。これらのノートブックを複製し、その中のコードを実行することができます。返された情報が正しければ、開発を開始できます。

以下はノートブックのコード例です。

注意: 正しい環境から Jupyter Notebook を起動しないと、エラーが発生する可能性があります。たとえば、tensorflow 環境を使用する場合、ノートブックをベース環境から起動し、カーネルを tensorflow 環境に変更できますが、これを行うとエラーが発生しました。したがって、TensorFlow を実行する場合は、TensorFlow 環境でノートブックを起動し、PyTorch を実行する場合は、Torch 環境でノートブックを起動します。ベースまたは他の場所から開始しないでください。

私の個人的な経験と代替案

私はこの構成を使用して軽量のディープラーニング作業を行ってきましたが、このローカル ハードウェアで十分です。数週間経った今、すべては順調に進んでいます。しかし、以前に他の方法を試したことがあり、深刻な問題を抱えていました。

たとえば、私はかつて https://developer.nvidia.com/cuda/wsl にある方法を試しました。この方法では、WSL (Windows Subsystem for Linux) で CUDA および NVIDIA ドライバーを有効にして、ディープラーニングのトレーニングに GPU を使用します。この機能は現在プレビュー段階ですが、正式にリリースされると、ディープラーニングの実践者に大きな影響を与えることになります。これは、優れた WSL と CUDA/GPU ドライバーを組み合わせたものです。

しかし、これは条件付きです。この機能を使用するには、Windows Insider プログラムのメンバーである必要があります。もちろん、私の経験では、Insider プレビューにはバグが多い傾向があります。使用中に、すべての Windows アプリケーションが応答しなくなった、GSOD (グリーン スクリーン オブ デス) エラーが発生した、正しく起動しない、ドライバーに障害が発生するなど、多くの問題が発生しました。私は個人的に不安定な環境が好きではないので、辞めることを選択するのは時間の問題です。

プレビューを使用すると問題が発生しない可能性もありますが、私の経験は非常に悪かったので、プレビューの使用はお勧めしません。

他の選択肢としては、Windows をまったく使用せず、よりスムーズなエクスペリエンスを実現するために Linux ベースのシステムのみを使用することも挙げられます。 Linux には、Windows のような洗練された GUI インストーラー ツールがないだけです。

この記事では、Windows システムに TensorFlow、PyTorch、Jupyter ツールをインストールする方法を紹介します。皆様のお役に立てれば幸いです。