GPT-4 の「lazy」バグが修正され、価格が 80% 下がりました。 OpenAIは5つの新モデルを連続リリースし、パフォーマンスが急上昇

GPT-4がまた強くなりました！

本日、OpenAI は GPT-4 Turbo の更新バージョンである gpt-4-0125-preview を正式にリリースしました。

モデルの「怠惰さ」が大幅に改善されるだけでなく、コード生成能力も大幅に向上します。

同時に、OpenAI は一連のモデルと API のアップデートもリリースしました。これは一般的に言えば「パフォーマンスの向上と価格の低下」を意味します。

• GPT-3.5 Turbo アップデート – gpt-3.5-turbo-0125。投入価格は50%下落し、産出価格は25%下落した。パフォーマンスもアップグレードされています。
• これまでで最も「強力な」モデレーション モデルである text-moderation-007 は、開発者が有害なテキストを効果的に識別するのに役立ちます。

2 つの新世代埋め込みモデル:

• text-embedding-3-small、サイズが小さく、効率が高く、価格は元のモデルの20％に直接削減されます！ 512 次元と 1536 次元の 2 つのサイズをサポートします。
• text-embedding-3-large は、以前のモデルに比べてパフォーマンスが大幅に向上し、最大 3072 次元の埋め込みベクトルを持ち、価格は small モデルの 6.5 倍です。

最後に、OpenAIは、APIを通じてユーザーが送信したデータは新しいモデルのトレーニングには使用されないことも強調した。

GPT-4は強力だが、バグ修正には怠惰

昨年 11 月の開発者会議で GPT-4-Turbo がリリースされて以来、GPT-4 API ユーザーの 70% 以上が GPT-4-Turbo プレビューに切り替え、最新のナレッジ リング データ、より大きな 128k コンテキスト ウィンドウ、低価格を享受できるようになりました。

最新の更新された GPT-4-Turbo プレビュー モデルである gpt-4-0125-preview は、以前のプレビュー バージョンよりもタスク (コード生成など) の実行が優れており、モデルで発生する可能性のある「怠惰」を軽減できます。

新しいモデルでは、英語以外の UTF-8 生成に影響するバグも修正されています。

最新の GPT-4-Turbo プレビューに自動的にアップグレードしたい人のために、OpenAI は、常に最新の GPT-4-Turbo プレビュー モデルを指す新しいモデル名エイリアス gpt-4-turbo-preview も導入しました。

今後数か月以内に、OpenAI は視覚機能を備えた GPT-4-Turbo の正式版もリリースする予定です。

GPT-3.5-Turboは「価格低下と効率向上」を歓迎

来週、OpenAI は GPT-3.5-Turbo の新しいバージョン、モデル gpt-3.5-turbo-0125 をリリースする予定です。

過去 1 年間で、OpenAI は GPT-3.5-Turbo の価格を 3 度目に引き下げました。

新しいモデルの入力価格は 50% 低下して 1k トークンあたり 0.0005 ドルとなり、出力価格は 25% 低下して 1k トークンあたり 0.0015 ドルとなりました。

さらに、要求された形式での応答の精度の向上や、英語以外の言語の関数呼び出しでテキスト エンコードの問題を引き起こすバグの修正など、モデルにいくつかの改善が加えられました。

API で固定の gpt-3.5-turbo モデル名を使用しているユーザーは、新しいモデルが利用可能になってから 2 週間後に、gpt-3.5-turbo-0613 から gpt-3.5-turbo-0125 に自動的にアップグレードされます。

2つの新しい組み込みモデルがリリースされました。パフォーマンスが大幅に向上し、価格が大幅に下がりました。

OpenAI は、より小型で効率的な text-embedding-3-small モデルと、より大型で強力な text-embedding-3-large モデルという 2 つの新しい埋め込みモデルを導入しました。

埋め込みとは、コンテンツ (テキストやコードなど) 内の概念を数字のシーケンスに変換するプロセスです。

このようにして、機械学習モデルやその他のアルゴリズムは、さまざまなコンテンツ間の関係を簡単に理解し、クラスタリングや検索などの操作を実行できます。

埋め込みテクノロジーは、ChatGPT とアシスタント API の知識検索機能、および多くの検索拡張生成 (RAG) 開発ツールを強化します。

「小さい」テキスト埋め込みモデル: text-embedding-3-small

text-embedding-3-small は OpenAI の新しい効率的な埋め込みモデルであり、2022 年 12 月にリリースされた前身の text-embedding-ada-002 と比較してパフォーマンスが大幅に向上しています。

• パフォーマンスの向上

多言語検索によく使用されるベンチマーク (MRACL) では、text-embedding-3-small の平均スコアが 31.4% から 44.0% に向上し、英語タスクによく使用されるベンチマーク (MTEB) では、平均スコアが 61.0% から 62.3% に向上しました。

• 手頃な価格

text-embedding-3-small は OpenAI の以前の text-embedding-ada-002 モデルよりもはるかに効率的であるため、価格も 1,000 トークンあたり 0.0001 ドルから 0.00002 ドルへと 5 分の 1 に大幅に削減されました。

OpenAI は text-embedding-ada-002 を廃止しません。OpenAI はユーザーに新しいモデルの使用を推奨していますが、顧客は引き続き前世代の製品を使用することを選択できます。

「大きい」テキスト埋め込みモデル: text-embedding-3-large

Text-embedding-3-large は、最大 3072 次元の埋め込みベクトルを生成できる、OpenAI の新世代の大規模埋め込みモデルです。

Text-embedding-3-large は現在 OpenAI の最も強力なモデルです。text-embedding-ada-002 と比較すると、MIRACL での平均スコアは 31.4% から 54.9% に増加し、MTEB での平均スコアは 61.0% から 64.6% に増加しました。

text-embedding-3-large の価格は 1k トークンあたり $0.00013 に設定されています。

埋め込みベクトルの柔軟な調整

小さな埋め込みと比較すると、ベクトル リポジトリに配置される大きな埋め込みの保存と取得は、多くの場合、より高価であり、より多くのコンピューティング リソース、メモリ、およびストレージ スペースを消費します。

OpenAI の新しい埋め込みモデルはどちらも、開発者が埋め込みの使用コストとパフォーマンスの間でトレードオフを行える特別なトレーニング手法を使用しています。

具体的には、開発者は、概念を表す埋め込みベクトルのコア特性に影響を与えることなく、dimension API パラメータを設定することで、埋め込みベクトルの長さを効果的に短縮（つまり、シーケンスの末尾の数字の一部を削除）できます。

たとえば、MTEB ベンチマークでは、text-embedding-3-large 埋め込みベクトルの長さが 256 に短縮された場合でも、長さ 1536 の短縮されていない text-embedding-ada-002 埋め込みベクトルよりもパフォーマンスが優れています。

このアプローチにより、使用の柔軟性が大幅に向上します。

たとえば、開発者が最大次元が 1024 の埋め込みベクトルのみをサポートするベクトル データ ストレージを使用する必要がある場合、OpenAI の最もパフォーマンスの高い埋め込みモデル text-embedding-3-large を選択し、dimension API パラメータを 1024 に設定して元の 3072 次元の埋め込みベクトルを縮小し、精度を犠牲にしてベクトル サイズを小さくすることができます。

これまでで最も強力なコンテンツレビューモデル

OpenAI の無料コンテンツ モデレーション API は、開発者が潜在的に有害なテキストを識別するのに役立ちます。

OpenAI は、継続的な安全性確保の取り組みの一環として、これまでで最も強力なコンテンツ モデレーション モデルである text-moderation-007 をリリースしました。

以前の text-moderation-latest と text-moderation-stable もこの新しいモデルにリダイレクトされます。

APIバックエンドが更新され、APIキー管理が改善されました

OpenAI は、開発者に API の使用状況に関するより明確な情報を提供し、API キーの管理を強化することを目的とした 2 つの主要なプラットフォーム アップグレードを展開しています。

まず、開発者は API キー ページでさまざまなキー権限を直接設定できます。

たとえば、ユーザーは、内部トレース ダッシュボードで使用するキーに対して読み取り専用権限を設定したり、特定のインターフェースのみへのアクセスを制限したりできます。

次に、キー使用状況の追跡を有効にすると、使用状況ダッシュボードとデータ エクスポート機能によって、API キーごとに詳細な使用状況メトリックが提供されます。このように、さまざまな機能、チーム、製品、プロジェクトに個別の API キーを割り当てることで、それらの使用状況を簡単に監視できます。

OpenAI は今後数か月以内に、開発者が API の使用状況をより適切に監視し、API キーを管理しやすくすることを計画しており、これは特に大規模な組織にとって重要です。

参考文献:

https://openai.com/blog/new-embedding-models-and-api-updates