「トランスフォーマーチャレンジャー」マンバはMacBookでも動く！ GitHub は半日で 500 以上のスターを獲得しました

「トランスフォーマーの挑戦者」MambaがMacBookで実行できるようになりました！

誰かが GitHub で、Mamba を最も簡単な方法で実行できるというメモを共有しました。

この共有には取扱説明書を含めてたった3つのファイルしかありませんが、公開されてから1日も経たないうちに500以上のスターを獲得しています。

写真

Mamba は、言語タスクやその 2 倍のサイズの Transformer と同等のパフォーマンスを発揮する新しい大規模モデルアーキテクチャです。

ただし、公式バージョンではモデルファイルのみが提供されており、展開して使用するには一定の専門知識が必要であり、実行するには Linux+N カードが必要です。

写真

このノートにより、Mamba を実行する手順が大幅に簡素化され、N カードが不要になったため、M シリーズの MacBook でも実行できるようになりました。

これを見た関連職業に就いているネットユーザーたちは、この簡素化されたモデルは本当に素晴らしいと述べ、自分たちの仕事もこの方向に進むことを望んでいると語った。

写真

オリジナルの『マンバ』の著者であるトリ・ダオ氏とアルバート・グ氏もこのメモを転送し、そのシンプルさと読みやすさを称賛した。

写真

では、このメモはどのように使用すればよいのでしょうか?

2つのファイルを実行できる

まず、Jupyter、VSCode、オンライン Google Colab など、PyTorch ノートブックを実行できるツールを開きます。

次に作者のメモとPythonスクリプトをダウンロードします。Colabを使用している場合は、GitHubのインポート機能も使用できます。

ローカルで実行する場合は、2 つのファイルを同じディレクトリに配置する必要があります。Colab を使用する場合は、接続が成功した後に model.py をアップロードする必要があります。

アップロードしないと、「モデルが見つかりません」というエラーメッセージが表示されます。

次に、必要な依存関係環境をインストールします。Colab では、einops を手動でインストールする必要があります。他のツールでは、エラー情報に基づいて不足している依存関係を判断できます。

!pip install インストールする依存関係の名前

写真

依存関係の問題を解決したら、最初のノートのグループにある実行ボタンをクリックできます。ここで、モデルのスケールを選択できます。デフォルトは 370M です。

写真

次は初期化です。実行ボタンをクリックするだけです。

出力トークンの数もここで調整できます。デフォルトは 50 です。

写真

次に、注記にいくつかの例を示します。プロンプトの内容を一重引用符で囲んで変更することもできます (改行は \n で表されます)。その後、[実行] をクリックします。

ただし、ここでのプロンプトは、ChatGPT などのボットアプリケーションを通常使用する方法とは異なることに注意してください。

写真

ここで、Hugging Face の Llama 2 のシステムプロンプトの単語を借用します。

以下は、さまざまな人々と AI アシスタントとの一連の対話です。AI は、親切で、礼儀正しく、正直で、洗練されていて、感情に敏感で、謙虚でありながら知識豊富であろうとします。アシスタントは、ほとんど何でも喜んで手伝ってくれ、必要なことを正確に理解するために最善を尽くします。また、誤った情報や誤解を招く情報を提供することを避け、正しい答えがわからない場合は警告します。とはいえ、アシスタントは実用的で、本当に最善を尽くしており、用心深さが役に立つことの妨げにならないようにしています。ユーザー: 質問アシスタント:

写真

パフォーマンスの面では、デフォルトのスケールと出力長 (370M、50 トークン) では、Once Upon a time の入力に Colab の純粋な CPU バージョンでは約 1 分、TPU では約 30 秒かかり、メモリ消費量は 3 ～ 4 GB になります。

写真

M1 チップを搭載した Mac では、同じ設定で同じコンテンツを処理するのに約 1 分半かかります。

写真

しかし、著者は、読みやすさを考慮して、オリジナルの Mamba の一部の加速命令が削除されたことも説明しました。

写真

参考リンク: https://news.ycombinator.com/item?id=38708730

<<:

>>: