Karpathy が OpenAI を離れ、2 時間の AI コースを開始! GPTトークナイザーをゼロから構築する

OpenAIを去った技術の第一人者、カルパシー氏はついにオンラインで2時間のAI講座を開始した。

——「GPT Tokenizer を構築しましょう。」

実際、Karpathy 氏は、新しいコースが開始される 2 日前に、更新された GitHub プロジェクトでこれをすでに発表していました。

このプロジェクトは minbpe です。LLM 単語分割で一般的に使用される BPE (バイト ペア エンコーディング) アルゴリズム用の最小限でクリーンな教育用コードを作成することに専念しています。

現在、GitHub には 6.1k のスターと 442 のフォークがあります。

プロジェクトアドレス: https://github.com/karpathy/minbpe

ネットユーザー：2時間の講座の価値は大学4年間の勉強に相当

カルパシーの新コースのリリースは、依然として業界の多くの学者の注目を集めていると言わざるを得ません。

彼は、非常に複雑な LLM の概念を常に非常にわかりやすい方法で説明することができます。

ネットユーザーの中には、夕方のデートをキャンセルして授業に行く人もいた。

カルパシーとのデートの夜。

AI機械学習研究者のセバスチャン・ラシュカ氏は、「ゼロからの実装が気に入っており、ビデオを見るのが本当に楽しみです！」と語った。

Nvidiaの上級科学者ジム・ファン氏は、「アンドレイの脳は、複雑なものを私たちの小さな思考言語モデルが理解できる単純なトークンにトークン化できる大きなモデルです。」と述べています。

UCSC の助教授である Xin Eric Wang 氏も、「個人的には、彼が何年も前に公開した RL に関する記事 http://karpathy.github.io/2016/05/31/rl/ にとても感謝しています。この記事は、私が RL の分野に入るきっかけとなりました」と述べています。

この 2 時間のコースの価値は 4 年間の大学の学位に匹敵すると言う人もいます。

「アンドレイは最高のAI教師です。」

なぜトークナイザーなのか?

なぜ単語の分割について話すのでしょうか?セグメンターという言葉がなぜそれほど重要なのでしょうか?

karpathy が言ったように、トークナイザーは大規模なモデル パイプライン内の完全に独立したステージです。

独自のトレーニング セット、アルゴリズム (バイト ペア エンコード BPE) があり、トレーニング後に文字列からトークンへのエンコードとトークンから文字列へのデコードという 2 つの機能を実装します。

さらに、大規模なモデルにおける多くの奇妙な動作や問題は、実際にはトークナイザーに起因している可能性があります。

例えば：

- LLM はなぜ単語を綴ることができないのですか?

- LLM は、文字列の反転などの非常に単純な文字列処理タスクを実行できないのはなぜですか?

- LLM はなぜ英語以外の言語のタスクが苦手なのでしょうか?

- なぜLLMは簡単な算数が苦手なのでしょうか？

- GPT-2 が Python でコーディングするときに必要以上に問題が発生するのはなぜですか?

- LLM が文字列 <lendoftextl> を検出すると突然停止するのはなぜですか?

- 大規模モデルが実際にはエンドツーエンドの言語モデリングではない理由

......

ビデオの中で彼はこれらの問題の多くについて議論しています。トークナイザーが間違っている理由と、この段階を完全に削除する方法を見つけることが理想的である理由について説明します。

2時間の授業が始まる

この講演では、OpenAI GPT シリーズで使用される Tokenizer をゼロから構築します。

YouTubeコースの章紹介によると、全部で20以上のパートがあるそうです。

これには、紹介、バイト ペア エンコーディング (BPE) アルゴリズムのウォークスルー、トークナイザー/LLM ダイアグラム (これは完全に別のステージです)、および minbpe の練習時間が含まれます。独自の GPT-4 トークナイザーなどを作成します。

コース全体は説明から演習まで始まります。

以下はスピーチから要約したいくつかの重要なポイントです。

ビデオの最後で、Karpathy 氏は LLM トークナイザーで発生する奇妙な問題について再度説明します。

まず、なぜ LLM は単語を正しく綴ったり、その他のスペル関連のタスクを実行したりできないのでしょうか?

基本的に、これは文字がトークンに分割されており、これらのトークンの一部が実際にはかなり長いためです。

したがって、この単一のトークンに詰め込まれた文字が多すぎると思われ、このモデルは、この単一のトークンのスペルに関連するタスクにはあまり適していないのではないかと思われます。

もちろん、私のヒントは意図的にこのように行われました。デフォルトのスタイルは単一のトークンになることがわかります。これがモデルが認識するものです。

実際、トークナイザーは文字がいくつあるか知りません。

では、なぜ大規模なモデルは英語以外のタスクではパフォーマンスが低下するのでしょうか?

これは、LLM がモデル パラメータをトレーニングするときに英語以外のデータが少なくなるだけでなく、トークナイザーが英語以外のデータで完全にトレーニングされていないことも原因です。

たとえば、ここでは「hello how are you」は 5 トークンですが、その翻訳は 15 トークンで、元の 3 倍になります。

「안녕하세요」は韓国語で「こんにちは」を意味しますが、結局のところトークンは3つしかありません。

実は、これは非常に一般的なフレーズで、hello のような典型的な挨拶ですが、最終的には 3 つのトークンになるため、少し驚いています。

そして、英語の「hello」は単一のトークンです。 LLM が英語以外のタスクでパフォーマンスが低いと考える理由の 1 つは、単語セグメンターです。

さらに、LLM が単純な計算でつまずく理由も、デジタル トークンに関係しています。

たとえば、文字レベルのアルゴリズムを使用して加算を実行する場合、最初に 1 の位を加算し、次に 10 の位を加算し、最後に 100 の位を加算します。

これらの数字の特定の部分を参照する必要がありますが、これらの数字の表現は完全に恣意的であり、主に単語分割プロセス中にどのような結合が発生したか、または発生しなかったかに基づいています。

1 つのトークンなのか、2 つのトークンの組み合わせなのか (1-3、2-2、3-1 など) を確認できます。

したがって、異なる数字はすべて異なる組み合わせになります。

残念ながら、4 桁の数字すべてを含むトークンが 4 つ表示されることもあれば、3 桁、2 桁、1 桁の数字が含まれるトークンがランダムなパターンで表示されることもあります。

しかし、これも理想的ではありません。

そのため、たとえば、Llama 2 アルゴリズムをトレーニングするときに、著者が文の断片を使用する場合、Llama 2 の例として、すべての数字をセグメント化するようにしています。これは、単純な算術演算のパフォーマンスを向上させるためでもあります。

最後に、GPT-2 が Python でパフォーマンスが低い理由の 1 つは、アーキテクチャ、データセット、およびモデルの強度に関するモデリングの問題です。

しかし、問題の一部はトークナイザーでもあり、これは単純な Python の例でわかるように、トークナイザーはスペースを非常に不適切に処理します。

各スペースは個別のトークンであるため、モデルがクロスオーバーを処理できるコンテキストの長さが大幅に短縮されます。そのため、これは GPT-2 の単語分割におけるほぼ間違いであり、後に GPT-4 で修正されました。

宿題

カルパシー氏はコースの下部で、ネット上のユーザーに宿題の課題も出していた。

ぜひチェックインしてください。