人気のLlama 2は1週間で15万回以上ダウンロードされ、誰かがRust実装をオープンソース化した。

数日前、Meta は Llama 2 の無料商用バージョンをリリースし、AI コミュニティに大きなセンセーションを巻き起こしました。

Meta は、70 億、130 億、700 億のパラメータ バリアントという複数のモデル ファミリを一度にリリースし、340 億のパラメータ バリアントもトレーニングしました。

公開された評価結果によると、Llama 2 は推論、エンコード、熟練度、知識テストなど、多くの外部ベンチマークにおいて他のオープンソース言語モデルよりも優れていることが示されています。

ChatGPTやGPT-4などのクローズドソースモデルとは異なり、Llama 2は商用利用も可能なため、リリースされるや否や多くのAI研究者の注目を集めました。公式ニュースによると、Metaのウェブサイト上のフォームに記入することで誰でもLlama 2のダウンロードをリクエストできるため、 Llama 2はリリースから1週間以内に15万件を超えるダウンロードリクエストを受け取っているとのこと。 Meta はこの数字を信じられないと表現しており、ユーザーからのリクエストの数は今も増え続けています。

Llama 2 リクエスト アドレス: https://ai.meta.com/resources/models-and-libraries/llama-downloads/

出典: https://ai.meta.com/blog/llama-2-update/?utm_source=twitter&utm_medium=organic_social&utm_campaign=llama2&utm_cnotallow=card

Llama 2が徐々に人気を博すにつれ、その二次開発も人気を博しました。数日前、OpenAI の科学者 Karpathy 氏は週末を利用してスター プロジェクトllama2.cを開発しました。このプロジェクトでは、GPT-4 の助けを借りて、わずか 500 行の C 言語で Llama 2 赤ちゃんモデルの推論を実装しました。このプロジェクトは、Apple M1 ラップトップで 1 秒あたり 98 個のトークンを出力できます。

ちょうど今、LLaMA 2 に関連する別のプロジェクト、llama2.rs が注目を集め始めています。プロジェクトの作者は、コーネル大学の助教授である Alexander Rush 氏です。

要約すると、このプロジェクトは主に Rust で Llama2 を実装しており、この方法で実装された LLaMA 2 は非常に安全かつ高速であることが結果から示されています。このプロジェクトでは、Karpathy の llama2.c プロジェクトの Rust ポートを使用していることに留意してください。

プロジェクトアドレス: https://github.com/srush/llama2.rs

ディープラーニングの三大巨頭の一人であるヤン・ルカン氏もこれを推進した。

次に、llama2.rs の使い方を見てみましょう。

llama2.rs の構築は非常に簡単で、たった 1 行のコードだけです。

 > cargo build --release

次のようにプログラムを実行すると、tok/s が 0.92618316 であることがわかります。

 > target/release/llama2_rs ../llama2.c/llama2_7b.bin 0.0 11 "The only thing" The only thing that is certain in life is change. achieved tok/s: 0.92618316

比較のために、私のコンピュータで実行されているオリジナルの llama2.c を以下に示します。tok/s は 0.139889 です。

 > ./run llama2_7b.bin 0.0 11 "The only thing" The only thing that is certain in life is change. achieved tok/s: 0.139889

このプロジェクトを開発した理由について、Alexander Rush 氏は、Rust の演習をいくつか行い、同時にメモリ マッピング、並列処理、数学的手法などのプログラムの移植方法を学びたかっただけだと述べました。

次に、アレクサンダー・ラッシュはミニトーチの移植を試みる予定です。興味のある読者は注目してください。