Nvidia、Hugging Face、ServiceNow がコード生成用の新しい StarCoder2 LLM をリリース

現在 3 つの異なるサイズで提供されているこれらのモデルは、リソースの少ない言語を含む 600 以上のプログラミング言語でトレーニングされており、企業が開発ワークフローでさまざまなコード関連タスクを高速化するのに役立ちます。これらのモデルは、大規模コード言語モデルの責任ある開発と使用を保証するために ServiceNow と Huging Face が共同で取り組んでいるオープンな BigCode プロジェクトの下で開発されており、Open Responsible AI License の下で無料で利用できます。

StarCoder2 は、オープンな科学的コラボレーションと責任ある AI 実践を倫理的なデータ サプライ チェーンと組み合わせることで得られる威力を実証しています。 ServiceNow の StarCoder2 開発チームのリーダーであり、BigCode の共同リーダーでもあるハーム・デ・フリース氏は声明で、最先端のオープン アクセス モデルは、以前の GenAI 機能を改善して開発者の生産性を高め、コード生成 AI の利点を開発者に平等に提供することで、あらゆる規模の企業がビジネスの可能性を最大限に発揮しやすくなると述べています。

StarCoder2: 3つの異なるニーズに対応する3つのモデル

BigCode の StarCoder LLM の最初のリリースでは、パラメータが 150 億個しかなく、約 80 種類のプログラミング言語でトレーニングされていましたが、最新世代ではそれを超え、30 億、70 億、150 億の 3 つの異なるモデル サイズでリリースされ、619 種類のプログラミング言語でトレーニングされています。 BigCodeによると、「Stack」と呼ばれる新しいモデルは、前回使用されたときよりも7倍以上大きいデータでトレーニングされたという。

さらに、BigCode コミュニティは、最新世代の新しいトレーニング手法を使用して、モデルが COBOL、数学、手続き型ソースコードディスカッションなどのリソースの少ないプログラミング言語を理解し、生成できるようにしました。

最小の 30 億パラメータ モデルは ServiceNow の Fast LLM フレームワークを使用してトレーニングされ、7B モデルは Huging Face の Nantron フレームワークを使用して開発されました。どちらも、少ないコンピューティングで高性能なテキストからコードへの生成とテキストからワークフローへの生成を提供するように設計されています。

一方、最大の 150 億パラメータ モデルは、エンドツーエンドの NVIDIA Nemo クラウド ネイティブ フレームワークと NVIDIA TensorRT-LLM ソフトウェアを使用してトレーニングおよび最適化されました。

これらのモデルがさまざまなエンコード シナリオでどの程度の性能を発揮するかはまだ不明ですが、両社は、最小の 3B モデルがオリジナルの 15B StarCoder LLM と同等の性能を発揮すると述べています。

エンタープライズ チームは、ニーズに応じてこれらのモデルのいずれかを使用し、さまざまなユース ケースのエンタープライズ データに基づいてさらに微調整することができます。ユース ケースには、アプリケーションのソース コード生成、ワークフロー生成、テキスト要約から、コード補完、高度なコード要約、コード スニペットの取得まで、あらゆる特殊なタスクが含まれます。

両社は、これらのモデルはより広範かつ深くトレーニングされており、リポジトリのコンテキストを提供することで、正確でコンテキストを意識した予測が可能になると強調した。最終的には、これらすべてにより開発が高速化され、エンジニアや開発者の時間が解放され、より重要なタスクに集中できるようになります。

「すべてのソフトウェアエコシステムには独自のプログラミング言語があるため、CodeLLM はあらゆる業界で効率性と革新性において飛躍的な進歩をもたらすことができます」と、Nvidia の応用研究担当副社長、ジョナサン・コーエン氏はプレス声明で述べています。

「NVIDIA と ServiceNow および Huging Face の連携により、安全で責任ある開発モデルが導入され、責任ある GenAI へのより広範なアクセスがサポートされ、世界中の社会に利益をもたらすことを期待しています」と同氏は付け加えた。

StarCoder2 の使用を開始するにはどうすればよいですか?

前述のとおり、StarCoder2 コレクションのすべてのモデルは Open Rail-M ライセンスに基づいて提供されており、ロイヤリティフリーのアクセスと使用が可能です。サポートコードは、BigCode プロジェクトの GitHub リポジトリにあります。別の選択肢として、チームはフェイスハガーの 3 つのモデルすべてをダウンロードして使用することもできます。

とはいえ、NVIDIA がトレーニングした 150 億のモデルは NVIDIA AI Foundation でも利用可能になり、開発者はブラウザーから直接、または API エンドポイントを通じてそれらのモデルを試すことができます。

StarCoder は AI 駆動型コード生成の分野に初めて参入した企業ではありませんが、プロジェクトの最新世代によってもたらされた幅広いオプションにより、企業はアプリケーション開発で LLMS を活用しながら、コンピューティングコストを節約できるようになります。

この分野の他の注目企業としては、GitHub フェデレーション パイロット サービスを支える Codex を提供する OpenAI や、CodeWhisper ツールを提供する Amazon などがある。また、Hugging Face にいくつかの小規模な AI コーディング モデルを持つ Replit や、​​最近シリーズ B の資金調達で 5 億ドルの評価額で 6,500 万ドルを調達した Codenium との激しい競争もある。