実行に少量の計算リソースとメモリリソースしか必要としないSmall Llama大規模モデル

背景

今日のデータ爆発の時代では、言語モデルのトレーニングはますます複雑かつ困難になっています。効率的な言語モデルをトレーニングするには、膨大なコンピューティング リソースと時間が必要です。しかし、これは多くの人にとって現実的ではありません。同時に、特にエッジデバイス上で、限られたメモリとコンピューティング リソースで大規模な言語モデルをどのように使用するかという課題にも直面しています。

今日は、GitHub のオープンソース プロジェクト jzhang38/TinyLlama をお勧めしたいと思います。このプロジェクトは、GitHub で 4.3k を超えるスターを獲得しています。このプロジェクトは、1 文で紹介できます。「TinyLlama プロジェクトは、3 兆個のトークンで 11 億個の Llama モデルを事前トレーニングするオープンな取り組みです。」

プロジェクト紹介

TinyLlama は、3 兆個のトークンで 11 億個の Llama モデルを事前トレーニングすることを目指しています。適切な最適化により、16 個の A100-40G GPU を使用してわずか 90 日でこの目標を達成することができました。このプロジェクトは、Llama 2 とまったく同じアーキテクチャとトークナイザーを使用しているため、TinyLlama をプラグインして、多くのオープンソースの Llama ベースのプロジェクトに使用することができます。さらに、TinyLlama はパラメータが 11 億個しかないため、非常にコンパクトです。このコンパクトさにより、計算とメモリのフットプリントを制限する必要がある多くのアプリケーションに適しています。

使い方

モデルを直接ダウンロードして使用することも、huggingface を通じてデモを使用することもできます。

ご自身でトレーニングをご希望の場合は、以下のトレーニング詳細をご参照ください。

プロジェクト推進

TinyLlama は、いくつかの重大な問題を積極的に解決しており、オープンソース コミュニティで大きな注目を集めている、エキサイティングなオープンソース プロジェクトです。

以下は、プロジェクトのスタートレンドチャートです（プロジェクトのアクティビティを表します）。

プロジェクトの詳細については、以下のリンクをご覧ください。

オープンソースプロジェクトのアドレス: https://github.com/jzhang38/TinyLlama

オープンソース プロジェクト作成者: jzhang38

プロジェクト構築に関わるメンバーは以下の通りです。