NVIDIA が TensorRT-LLM の新バージョンをプレビュー: 推論能力が 5 倍に向上、8GB 以上のグラフィック カードがローカルで実行可能、OpenAI の Chat API をサポート

11月16日、Microsoft Ignite 2023カンファレンスが本日開幕しました。NVIDIAの幹部がカンファレンスに出席し、TensorRT-LLMのアップデートを発表し、 OpenAI Chat APIのサポートを追加しました。

IT Homeは今年10月に、NVIDIAがデータセンターとWindows PC向けのTensor RT-LLMオープンソースライブラリをリリースしたと報じた。最も優れた機能は、Windows PC に NVIDIA GeForce RTX GPU が搭載されている場合、TensorRT-LLM により LLM を Windows PC 上で 4 倍高速に実行できることです。

本日の Ignite 2023 カンファレンスで、NVIDIA は TensorRT-LLM のアップデートを発表し、OpenAI の Chat API のサポートを追加し、DirectML 機能を強化して Llama 2 や Stable Diffusion などの AI モデルのパフォーマンスを向上させました。

TensorRT-LLM は、NVIDIA の AI Workbench を通じてローカルで実行できます。AI Workbench は、開発者が PC またはワークステーション上で事前トレーニング済みの生成 AI モデルと LLM を迅速に作成、テスト、カスタマイズできる、統合された使いやすいツールキットです。 NVIDIA はこの目的のために早期アクセス登録ページも立ち上げました。

NVIDIA は、今月後半に TensorRT-LLM 0.6.0 バージョン アップデートをリリースする予定です。これにより、推論パフォーマンスが 5 倍向上し、Mistral 7B や Nemotron-3 8B などの他の主流の LLM もサポートされます。

ユーザーは、8GB 以上のビデオ メモリを搭載した GeForce RTX 30 シリーズおよび 40 シリーズ GPU で実行でき、一部のポータブル Windows デバイスでも高速で正確なネイティブ LLM 機能を利用することができます。