GPT-4 モデル アーキテクチャが漏洩: 1.8 兆個のパラメータを含み、混合エキスパート モデルを使用

7月13日、海外メディアSemianalysisは最近、今年3月にOpenAIが発表したGPT-4モデルを公開した。これにはGPT-4モデルのアーキテクチャ、トレーニングおよび推論インフラストラクチャ、パラメータ量、トレーニングデータセット、トークン数、コスト、専門家の混合などの具体的なパラメータと情報が含まれている。

▲ 画像出典：セミアナリシス

海外メディアによると、 GPT-4には120層で合計1兆8000億のパラメータが含まれるが、GPT-3には約1750億のパラメータしかないという。コストを適正に保つために、OpenAI は建設に混合エキスパート モデルを使用します。

IT ホーム 注記: Mixture of Experts はニューラル ネットワークです。システムはデータに基づいて複数のモデルを個別にトレーニングします。各モデルの出力後、システムはこれらのモデルを統合し、単一のタスクに出力します。

▲ 画像出典：セミアナリシス

GPT-4 は、それぞれ 1110 億のパラメータを持つ 16 人のエキスパートの混合を使用し、各フォワード パスは 2 つのエキスパート モデルを通過すると報告されています。

さらに、550億の共有注意パラメータがあり、13兆のトークンを含むデータセットを使用してトレーニングされます。トークンは一意ではなく、反復回数に応じてより多くのトークンとして計算されます。

GPT-4の事前トレーニング段階のコンテキスト長は8kで、32kバージョンは8kバージョンを微調整した結果です。トレーニングコストはかなり高くなっています。海外メディアによると、 8x H100も1秒あたり33.33トークンの速度で必要な密なパラメータモデルを提供できないとのことです。そのため、モデルのトレーニングには非常に高い推論コストがかかります。H100物理マシン1台あたり1時間あたり1ドルで計算すると、1回のトレーニングセッションのコストは6,300万ドル（約4億5,100万元）にもなります。

これを受けて、 OpenAIはクラウド上のA100 GPUトレーニングモデルを使用することを選択し、最終的なトレーニングコストを約2,150万ドル（約1億5,400万人民元）に抑え、少し時間がかかり、トレーニングコストも削減しました。