錬金速度×7! MacでもPyTorchトレーニングでGPUアクセラレーションを利用できます

錬金速度×7! MacでもPyTorchトレーニングでGPUアクセラレーションを利用できます

この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載しています。転載の際は出典元にご連絡ください。

これまでのところ、Pytorch は Mac での CPU トレーニングのみをサポートしています。

ちょうど今、Pytorch は最新バージョン v1.12 がGPU アクセラレーションをサポートできることを正式に発表しました。

M1シリーズチップを搭載したMacであれば大丈夫です。

つまり、Mac で「エリクサーを作る」には Pytorch を使う方が便利になります。

トレーニング速度は約7倍に向上します

この機能は、Pytorch と Apple の Metal エンジニアリング チームの協力により実現しました。

AppleのMetal Performance Shaders (MPS)を使用しています  PyTorch のバックエンドとして機能し、GPU アクセラレーション トレーニングを可能にします。

計算パフォーマンスを最適化するために、MPS は Metal GPU ファミリの固有の特性に合わせて各コアを微調整します。

Metal は OpenGL に似たフレームワークですが、OpenGL はさまざまなプラットフォームでのモバイル GPU レンダリングとコンピューティングに適しているのに対し、Metal は iOS/MacOS プラットフォーム専用ですが、パフォーマンスと使いやすさも考慮されています。

MPS は、Metal フレームワークに基づくライブラリであり、グラフィック処理、畳み込みニューラル ネットワークの構築、その他のタスクに GPU の高パフォーマンスを利用するために直接呼び出すことができます。

Appleは、M1 Ultra、20コアCPU、64コアGPU、128GB RAM、2TB SSDを搭載したMac Studioで公式にテストしました。

(このラインナップは、ほとんど贅沢な構成と言えます)。

彼らはそれぞれ、バッチサイズ 128 でResNet50 、バッチサイズ 64 でHuggingFace BERT 、バッチサイズ 64 でVGG16 をトレーニングしました。

下の図から、CPU アクセラレーションと比較して、GPU を使用するとモデルのトレーニング速度が約 7 倍、評価速度が最大約 20 倍向上することがわかります。

これを見て、一部のネットユーザーは、そのパフォーマンスがNvidia GPUを搭載したラップトップと比べてどうなのか疑問に思い始めました。

M1 の現在の純粋なコンピューティング性能は Nvidia 製品ほど優れていないものの、消費電力は依然として優れていると言う人もいます。今後、Apple がパフォーマンス面で徐々に追いつく可能性が非常に高いです。

全体的に、 Mac Studio は今のところかなり素晴らしいようです

彼はさらにこう説明した。

「結局のところ、これは128GB の GPU メモリを搭載し、4,800 ドルで購入できる最も安価なマシンです。GPU アクセラレーションの PyTorch サポートにより、大規模なモデルのトレーニングや大規模なバッチ サイズの構成に使用できます。」

私が行っているような DL 作業では、実際の計算能力よりもデータの読み込みがボトルネックになる可能性が高くなります。 ”

感動しましたか?

今すぐ試してみませんか?

macOS オペレーティング システムがバージョン 12.3 以上であり、arm64 ネイティブ Python がインストールされていることを確認してから、公式 Web サイトにアクセスして最新の Pytorch プレビュー バージョンをダウンロードしてください。

住所:
https://pytorch.org/blog/introducing-accelerated-pytorch-training-on-mac/

<<:  産業規模は500億に迫る。産業用ロボット業界は今後何をすべきか?

>>:  人工知能が金融市場をどう変えるのか

ブログ    

推薦する

CUDA と TensorRT モデルの展開の最適化: 重要な考慮事項と実践的な戦略

この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転...

10年前、古典的なword2vec論文が今日のNeurIPSタイムテスト賞を受賞しました

NeurIPS は世界で最も権威のある AI 学術会議の 1 つです。正式名称は Neural In...

ICLR 2020 におけるナレッジグラフ研究の包括的な概要

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式...

JavaScript でアルゴリズムの複雑さを学ぶ

この記事では、アルゴリズムの文脈における「二次」や「n log(n)」などの用語の意味について説明し...

...

スマート農業は収穫アシスタントとなる新しいアップグレードロボットを歓迎する

「農業」は国家の基盤です。基盤がしっかりしていれば国家は平和になります。農業は国民経済の建設と発展を...

Google Cloud と Hugging Face が AI インフラストラクチャ パートナーシップを締結

Google LLC のクラウド コンピューティング部門は本日、オープンソースの人工知能モデルを共有...

TensorRT が顔認識を高速化する方法

[[329844]]顔認識のリアルタイム パフォーマンスを向上させるために、私たちのチームは従来のニ...

...

...

人間の動作生成を再構築し、拡散モデルと検索戦略を統合した新しいパラダイム、ReMoDiffuseが登場

人間の動作生成タスクは、エンターテインメント、仮想現実、ロボット工学などの分野のニーズを満たす、リア...

ChatGPTが話せるようになりました! Siriなどのスマートアシスタントへの直接的な脅威

OpenAIは米国時間9月26日月曜日、チャットボット「ChatGPT」に音声会話機能を追加したと発...

Gen-2 は AI 生成ビデオに革命をもたらします。一言で4K高画質映画が作れる。ネットユーザー「ゲームのルールを完全に変えた」

これは間違いなく、生成 AI の進歩における画期的な出来事です。深夜、Runway の象徴的な AI...

Pytorch の最も重要な 9 つの操作! ! !

今日は、pytorch についてお話します。今日は、9 つ​​の最も重要な pytorch 操作をま...