GPT-4 の「lazy」バグが修正され、価格が 80% 下がりました。 OpenAIは5つの新モデルを連続リリースし、パフォーマンスが急上昇

GPT-4がまた強くなりました！

本日、OpenAI は GPT-4 Turbo の更新バージョンである gpt-4-0125-preview を正式にリリースしました。

モデルの「怠惰さ」が大幅に改善されるだけでなく、コード生成能力も大幅に向上します。

同時に、OpenAI は一連のモデルと API のアップデートもリリースしました。これは一般的に言えば「パフォーマンスの向上と価格の低下」を意味します。

GPT-3.5 Turbo アップデート – gpt-3.5-turbo-0125。投入価格は50%下落し、産出価格は25%下落した。パフォーマンスもアップグレードされています。
これまでで最も「強力な」モデレーションモデルである text-moderation-007 は、開発者が有害なテキストを効果的に識別するのに役立ちます。

2 つの新世代埋め込みモデル:

text-embedding-3-small、サイズが小さく、効率が高く、価格は元のモデルの20％に直接削減されます！ 512 次元と 1536 次元の 2 つのサイズをサポートします。
text-embedding-3-large は、以前のモデルに比べてパフォーマンスが大幅に向上し、最大 3072 次元の埋め込みベクトルを持ち、価格は small モデルの 6.5 倍です。

最後に、OpenAIは、APIを通じてユーザーが送信したデータは新しいモデルのトレーニングには使用されないことも強調した。

GPT-4は強力だが、バグ修正には怠惰

昨年 11 月の開発者会議で GPT-4-Turbo がリリースされて以来、GPT-4 API ユーザーの 70% 以上が GPT-4-Turbo プレビューに切り替え、最新のナレッジリングデータ、より大きな 128k コンテキストウィンドウ、低価格を享受できるようになりました。

最新の更新された GPT-4-Turbo プレビューモデルである gpt-4-0125-preview は、以前のプレビューバージョンよりもタスク (コード生成など) の実行が優れており、モデルで発生する可能性のある「怠惰」を軽減できます。

新しいモデルでは、英語以外の UTF-8 生成に影響するバグも修正されています。

最新の GPT-4-Turbo プレビューに自動的にアップグレードしたい人のために、OpenAI は、常に最新の GPT-4-Turbo プレビューモデルを指す新しいモデル名エイリアス gpt-4-turbo-preview も導入しました。

今後数か月以内に、OpenAI は視覚機能を備えた GPT-4-Turbo の正式版もリリースする予定です。

GPT-3.5-Turboは「価格低下と効率向上」を歓迎

来週、OpenAI は GPT-3.5-Turbo の新しいバージョン、モデル gpt-3.5-turbo-0125 をリリースする予定です。

過去 1 年間で、OpenAI は GPT-3.5-Turbo の価格を 3 度目に引き下げました。

新しいモデルの入力価格は 50% 低下して 1k トークンあたり 0.0005 ドルとなり、出力価格は 25% 低下して 1k トークンあたり 0.0015 ドルとなりました。

さらに、要求された形式での応答の精度の向上や、英語以外の言語の関数呼び出しでテキストエンコードの問題を引き起こすバグの修正など、モデルにいくつかの改善が加えられました。

API で固定の gpt-3.5-turbo モデル名を使用しているユーザーは、新しいモデルが利用可能になってから 2 週間後に、gpt-3.5-turbo-0613 から gpt-3.5-turbo-0125 に自動的にアップグレードされます。

2つの新しい組み込みモデルがリリースされました。パフォーマンスが大幅に向上し、価格が大幅に下がりました。

OpenAI は、より小型で効率的な text-embedding-3-small モデルと、より大型で強力な text-embedding-3-large モデルという 2 つの新しい埋め込みモデルを導入しました。

埋め込みとは、コンテンツ (テキストやコードなど) 内の概念を数字のシーケンスに変換するプロセスです。

このようにして、機械学習モデルやその他のアルゴリズムは、さまざまなコンテンツ間の関係を簡単に理解し、クラスタリングや検索などの操作を実行できます。

埋め込みテクノロジーは、ChatGPT とアシスタント API の知識検索機能、および多くの検索拡張生成 (RAG) 開発ツールを強化します。

「小さい」テキスト埋め込みモデル: text-embedding-3-small

text-embedding-3-small は OpenAI の新しい効率的な埋め込みモデルであり、2022 年 12 月にリリースされた前身の text-embedding-ada-002 と比較してパフォーマンスが大幅に向上しています。

パフォーマンスの向上

多言語検索によく使用されるベンチマーク (MRACL) では、text-embedding-3-small の平均スコアが 31.4% から 44.0% に向上し、英語タスクによく使用されるベンチマーク (MTEB) では、平均スコアが 61.0% から 62.3% に向上しました。

手頃な価格

text-embedding-3-small は OpenAI の以前の text-embedding-ada-002 モデルよりもはるかに効率的であるため、価格も 1,000 トークンあたり 0.0001 ドルから 0.00002 ドルへと 5 分の 1 に大幅に削減されました。

OpenAI は text-embedding-ada-002 を廃止しません。OpenAI はユーザーに新しいモデルの使用を推奨していますが、顧客は引き続き前世代の製品を使用することを選択できます。

「大きい」テキスト埋め込みモデル: text-embedding-3-large

Text-embedding-3-large は、最大 3072 次元の埋め込みベクトルを生成できる、OpenAI の新世代の大規模埋め込みモデルです。

Text-embedding-3-large は現在 OpenAI の最も強力なモデルです。text-embedding-ada-002 と比較すると、MIRACL での平均スコアは 31.4% から 54.9% に増加し、MTEB での平均スコアは 61.0% から 64.6% に増加しました。

text-embedding-3-large の価格は 1k トークンあたり $0.00013 に設定されています。

埋め込みベクトルの柔軟な調整

小さな埋め込みと比較すると、ベクトルリポジトリに配置される大きな埋め込みの保存と取得は、多くの場合、より高価であり、より多くのコンピューティングリソース、メモリ、およびストレージスペースを消費します。

OpenAI の新しい埋め込みモデルはどちらも、開発者が埋め込みの使用コストとパフォーマンスの間でトレードオフを行える特別なトレーニング手法を使用しています。

具体的には、開発者は、概念を表す埋め込みベクトルのコア特性に影響を与えることなく、dimension API パラメータを設定することで、埋め込みベクトルの長さを効果的に短縮（つまり、シーケンスの末尾の数字の一部を削除）できます。

たとえば、MTEB ベンチマークでは、text-embedding-3-large 埋め込みベクトルの長さが 256 に短縮された場合でも、長さ 1536 の短縮されていない text-embedding-ada-002 埋め込みベクトルよりもパフォーマンスが優れています。

このアプローチにより、使用の柔軟性が大幅に向上します。

たとえば、開発者が最大次元が 1024 の埋め込みベクトルのみをサポートするベクトルデータストレージを使用する必要がある場合、OpenAI の最もパフォーマンスの高い埋め込みモデル text-embedding-3-large を選択し、dimension API パラメータを 1024 に設定して元の 3072 次元の埋め込みベクトルを縮小し、精度を犠牲にしてベクトルサイズを小さくすることができます。