Google、AIが出力コンテンツの正しさを自己判断できるモデルトレーニングフレームワーク「ASPIRE」をリリース

IT Homeは1月23日、Googleが最近、大規模言語モデル向けに特別に設計されたASPIREトレーニングフレームワークを紹介するプレスリリースを発行し、AIモデルの選択的予測機能を強化すると主張していると報じた。

Google は、現在の大規模言語モデルは自然言語理解とコンテンツ生成の分野で急速に発展しており、さまざまな革新的なアプリケーションの構築に使用されているが、リスクの高い意思決定の状況に適用するのはまだ不適切であると述べました。これは、モデルの予測が不確実で「幻覚」を含む可能性があるためです。そのため、Google は一連のモデルに「信頼性」メカニズムを導入した ASPIRE トレーニング フレームワークを開発しました。つまり、モデルは一連の回答を出力し、それぞれの回答には正しい確率スコアが付けられます。

▲画像出典：Google プレスリリース（以下同）

技術的なレベルでは、IT Home は、トレーニング フレームワークが主に「特定のタスクの調整」、「回答のサンプリング」、「自己評価学習」の 3 つの段階に分かれていることに気付きました。

「タスク固有の調整」フェーズでは、基礎トレーニングを受けた大規模言語モデルに対して、モデルの予測能力の強化に重点を置いた詳細なトレーニングを実施します。研究者らは主にモデルに一連の調整可能なパラメータを導入し、特定のタスクのトレーニングデータセット上で事前トレーニング済みの言語モデルを微調整することで、モデルの予測性能を向上させ、モデルが特定の問題をより適切に解決できるようにしました。

2 つ目の段階は「回答のサンプリング」です。特定の微調整を行った後、モデルは以前に学習した調整可能なパラメータを使用して、トレーニングの質問ごとに異なる回答を生成し、自己評価学習用のデータセットを作成して、信頼性の高い一連の回答を生成できます。研究者らは、ビームサーチ法とルージュLアルゴリズムの両方を使用して回答の質を評価し、生成された回答とスコアをモデルに再入力して第3段階を開始しました。

第3段階の「自己評価学習」では、研究者らはモデルの自己評価機能を向上させるために特別に設計された一連の調整可能なパラメータをモデルに追加しました。この段階の目標は、モデルが「出力回答の正確さを自ら判断する」ことを学習できるようにし、大規模言語モデルが回答を生成するときに、回答の正しい確率スコアも添付できるようにすることです。

Google の研究者は、CoQA、TriviaQA、SQuAD という 3 つの質問応答データセットを使用して、ASPIRE トレーニング フレームワークの結果を検証しました。「ASPIRE によって調整された小さな OPT-2.7B モデルは、より大きな OPT-30B モデルよりもはるかに優れたパフォーマンスを発揮する」と言われています。この実験の結果は、適切な調整を行うことで、小さな言語モデルでもいくつかのシナリオでは大きな言語モデルよりも優れたパフォーマンスを発揮できることも示しています。

研究者らは、 ASPIREフレームワークのトレーニングにより、大規模言語モデルの出力精度が大幅に向上し、さらに小規模なモデルでも微調整後に「正確で信頼性の高い」予測が可能になると結論付けました。