コンテキストウィンドウ 16,000 トークン、30 億パラメータ、安定性 AI コード大規模モデルがここにあります

最近、Vincent Diffusion アーティファクトをオープンソース化した Stability AI が、コーディング用の最初の生成 AI 大規模モデルである StableCode という新しい大規模モデルをリリースしました。安定性 Al はそれを「革命的」と表現しています。

報道によると、StableCode は、プログラマーが日常業務をこなせるように設計されており、同時に初心者の開発者がスキルを次のレベルに引き上げるための優れた学習ツールも提供します。

公式ブログアドレス: https://stability.ai/blog/stablecode-llm-generative-ai-coding

ネットユーザーは StableCode に大きな期待を寄せており、コードベース全体をコンテキストとして使用する大規模なコードモデルが本当に必要だと述べています。

3つのバージョン: 基本、コマンド、およびロングコンテキストウィンドウモデル

StableCode は、3 つの異なるバージョンのモデルを通じて開発者の効率性を高めます。ベースモデルは「StableCode-Completion-Alpha-3B-4K」で、デコーダーのみを使用する 30 億パラメータのコード補完モデルです。

ベースモデルは、BigCode スタックデータセットのさまざまなプログラミング言語で事前トレーニングされており、特に Python、Go、Java、Javascript、C、マークダウン、C++ などの一般的なプログラミング言語でトレーニングされています。合計で、StableCode はHPC クラスター上で 5,600 億のトークンコードをトレーニングします。

ここでのBigCodeは、HuggingFaceとServiceNow Researchが2022年9月に共同で立ち上げたコードビッグモデルプロジェクトです。AIコード生成ツールを中心としたオープンコミュニティを構築し、ビッグ言語モデルコードを開発することを目的としています。

ハギングフェイス: https://huggingface.co/stabilityai/stablecode-completion-alpha-3b-4k

基本モデルをベースに、特定のユースケースに合わせて調整された命令モデル「StableCode-Instruct-Alpha-3B」は、複雑なプログラミングタスクの解決に役立ちます。このモデルは、stackoverflow 開発者調査レポートのトッププログラミング言語で事前トレーニングされた、30 億のパラメータデコーダーのみの命令調整コードモデルでもあります。

同時に、ベースモデルは、Alpaca 形式の約 120,000 個のコード命令応答ペアでトレーニングされました。次の図は、StableCode 命令モデルを使用して特定の命令に対する応答を生成するコードの例を示しています。

Huggingface アドレス: https://huggingface.co/stabilityai/stablecode-instruct-alpha-3b

StableCode は、コーディングスキルをさらに習得したい人にとって理想的な構成要素です。ロングコンテキストウィンドウモデル「StableCode-Completion-Alpha-3B」は、ユーザーが単一行および複数行の自動コード補完提案を使用できるようにする完璧なアシスタントと見なすことができます。

このモデルは、2023 年の StackOverflow 開発者調査レポートで最も使用されているプログラミング言語で事前トレーニングされた、30 億のパラメータデコーダーのみのコード補完モデルでもあります。

以前にリリースされたオープンソースモデルと比較すると、このモデルのコンテキストウィンドウは 16,000 トークン (他のどのモデルよりも大きい) に達し、一度に処理できるコード数も以前より 2 ～ 4 倍多くなります。これにより、ユーザーは 5 つの中規模の Python ファイルを表示または編集できるため、初心者にとって理想的な学習ツールになります。

下の図に示すように、StableCode は Pytorch ディープラーニングライブラリを使用して比較的複雑な Python ファイルを完成させます。ここで、グレーコードは StableCode の予測結果です。

Huggingface アドレス: https://huggingface.co/stabilityai/stablecode-completion-alpha-3b