ByteDanceは、従来の4倍の速度を誇る高性能トレーニングおよび推論エンジンLightSeqを発表した。

Transformer モデルは、Google チームが 2017 年に発表した論文「Attention is all you need」に由来しています。この論文では、Attention を使用して Seq2Seq モデルのループ構造を置き換えるという概念が初めて提案され、NLP 分野に大きな影響を与えました。そして近年の研究の継続的な進歩により、Transformer関連の技術は自然言語処理から他の分野へと徐々に流れてきています。現在までに、Transformer シリーズのモデルは、NLP、CV、ASR などの分野で主流のモデルとなっています。

そのため、Transformer モデルをより速くトレーニングして推論する方法が、業界の重要な研究方向となっています。低精度量子化技術は、データの幅を狭めることによって計算と通信のプロセスを高速化することができ、現段階でモデルのトレーニングと推論を高速化する重要な手段となります。ただし、唯一の欠点は、量子化によって精度と効果が失われることであり、これは量子化の認識やトレーニングなどの手段を通じて軽減する必要があります。上記の問題点を解決するために、ByteDance は LightSeq トレーニングおよび推論加速エンジン バージョン 3.0 を開発およびアップグレードし、Transformer モデルのロスレス高精度定量トレーニングと定量推論を同時に初めて実現しました。

LightSeq は、業界で広く使用されている疑似量子化方式ではなく、int8 GEMM による真の量子化トレーニング プロセスを実装し、モデルのトレーニング速度を 4 倍以上向上させることができます。 PACT などの量子化戦略により、量子化トレーニングの損失を最小限に抑えることができます。量子化モデルを LightSeq でサポートされている形式にエクスポートした後、LightSeq 量子化推論エンジンを使用して高速推論を実現し、T4 グラフィック カードで最大 70% 高速化できます。

7月21日に開催された[T·TALK]技術共有イベントでは、ByteDanceのアルゴリズムエンジニアであり、LightSeqのコア開発者であるXiong Ying氏をライブ放送ルームのゲストとして特別に招待し、ByteDanceの高性能トレーニングおよび推論エンジンLightSeqの技術原理と実用的な詳細を視聴者に明らかにしました。アルゴリズム業界の専門家であっても、AI テクノロジーを探求することに熱心な開発者であっても、この共有から独自の技術的経験と革新的なインスピレーションを得ることができると信じています。

7月21日20:00より開催されます【T·TALK】第12回技術共有イベントへのご参加をお待ちしております。

ポスターの下のQRコードをスキャンして、視聴の予約をしてください。