IBMはGPUを使用して機械学習の効率を10倍向上させる

[[212269]]

IBM は、EPFL の研究者と共同で、機械学習アルゴリズムをトレーニングするための大規模なデータセットを処理する新しい方法を開発しました。 「Duality-gap based Heterogeneous Learning (DuHL)」と呼ばれる新しいアルゴリズムは、60秒ごとに30GBのデータをプッシュすることができ、従来の方法に比べて10倍の改善が図られています。

多くの場合、特定の機械学習モデルをシミュレートするには、テラバイト単位のメモリが必要になります。必要なハードウェアは非常に高価であり、運用が確立された後でも、研究者にとって計算能力が問題として残ります。数日または数週間にわたってテストを実行すると、研究者が機械学習用にハードウェアを時間単位でレンタルすることが難しくなります。

GPU を使用した並列コンピューティングは何年も前から可能でしたが、現在のグラフィック カードには IBM の研究に必要なテラバイトのメモリ要件がまだありません。現在、GPU の異なるノード間でコンピューティング要件を分割する方法はありますが、すべてのタスクが割り当てに適しているわけではありません。これに対応して、IBM は現在、アルゴリズムの進歩に合わせて機械学習ツールが個々のデータに対して行う呼び出しを変更できるようにしています。つまり、過去の成果が検証フェーズ全体にわたって入力され、システムにフィードバックが提供され、以前よりも早く正しい方向にシステムが向けられるようになります。

初期テストでは、IBM は 8GB の GDDR5 メモリを搭載した NVIDIA Quadro M4000 グラフィックス カードを使用しました。 IBM は、この手頃な価格のプロフェッショナル グラフィック カードで、DuHL システムを使用すると、サポート ベクター マシンのトレーニング速度を標準的な順次方式に比べて 10 倍以上向上できることを実証しました。