AIビッグモデルにおける言語の不平等：英語は最も安価、他の言語ははるかに高価

7月31日、ユーザーが使用する言語が大規模言語モデル（LLM）のコストに大きな影響を与え、英語話者と他言語話者の間に人工知能の格差が生じる可能性があると報告された。最近の調査によると、OpenAIなどのサービスがサーバーのコストを測定し請求する方法により、英語の入力と出力は他の言語よりもはるかに安く、簡体字中国語は英語の約2倍、スペイン語は1.5倍、ビルマ語のシャン語は15倍のコストがかかるという。

IT Homeは、TwitterユーザーのDylan Patel (@dlan522p)がオックスフォード大学が実施した調査の写真を共有したことに気付きました。その調査では、LLMがビルマ語の文章を処理するのに198トークンかかるのに対し、英語で書かれた同じ文章には17トークンしかかからないことがわかりました。トークンは、OpenAI の ChatGPT や Anthropic の Claude 2 などの API を介して LLM にアクセスするための計算コストを表します。つまり、ビルマ語の文章は英語の文章よりも 11 倍コストがかかります。

トークン化は、AI企業がユーザーの入力を計算コストに変換する方法であり、英語以外の言語でモデルを使用およびトレーニングするにはコストがはるかに高くなることを意味します。これは、中国語などの言語は構造が異なり、より複雑であるため（文法と文字数の両方の点で）、より高いレマ率が必要になるためです。たとえば、OpenAI の GPT3 トークナイザーによると、「your Affection」というトークンは英語では 2 つのトークンしか必要としませんが、簡体字中国語では 8 つのトークンが必要になります。簡体字中国語のテキストには 4 文字 (your love) しかありませんが、英語のテキストには 14 文字あります。