Alibaba Cloud が Tongyi Qianwen 2.0 をリリース、パフォーマンスが加速して GPT-4 に追いつく

2023年杭州雲奇大会において、アリババクラウド最高技術責任者の周景仁氏は、数千億のパラメータを持つ大規模モデル「Tongyi Qianwen 2.0」を発表した。 10 件の権威ある評価において、Tongyi Qianwen 2.0 の総合的なパフォーマンスは GPT-3.5 を上回り、GPT-4 に追いつくまでに加速しています。

過去6か月間で、Tongyi Qianwen 2.0のパフォーマンスは飛躍的に向上したと報告されています。4月にリリースされたバージョン1.0と比較して、Tongyi Qianwen 2.0は、複雑な指示の理解、文学の創作、一般的な数学、知識の記憶、幻覚への耐性などの機能が大幅に向上しました。現在、Tongyi Qianwenの総合性能はGPT-3.5を超え、GPT-4に追いつくべく加速しています。

MMLU、C-Eval、GSM8K、HumanEval、MATHを含む10の主要なベンチマーク評価セットにおいて、Tongyi Qianwen 2.0の総合スコアはMetaのLlama-2-70Bを上回りました。OpenAIのChat-3.5と比較すると9勝1敗、GPT-4と比較すると4勝6敗となり、GPT-4との差がさらに縮まりました。

中国語と英語を理解する能力は、大規模言語モデルの基本スキルです。英語タスクに関しては、Tongyi Qianwen 2.0はMMLUベンチマークで82.5点を獲得し、GPT-4に次ぐ成績を収めました。パラメータ数を大幅に増やすことで、Tongyi Qianwen 2.0は複雑な言語構造と概念をよりよく理解し、処理することができます。中国語タスクに関しては、Tongyi Qianwen 2.0はC-Evalベンチマークで最高得点を獲得し、明らかな優位性を発揮しました。これは、モデルがトレーニング中により多くの中国語コーパスを学習し、中国語の理解力と表現力がさらに向上したためです。

数学的推論やコード理解などの分野では、Tongyi Qianwen 2.0 は大きな進歩を遂げました。推論ベンチマークテスト GSM8K では、Tongyi Qianwen は強力なコンピューティングおよび論理的推論能力を発揮して 2 位にランクされました。HumanEval テストでは、Tongyi Qianwen は GPT-4 および GPT-3.5 に僅差で続きました。このテストは主に、大規模モデルがコード スニペットを理解して実行する能力を測定します。これは、プログラミング支援や自動コード修復などのシナリオに大規模モデルを適用するための基礎となります。