ChatGPT をベースにしたインテリジェントな顧客サービス アシスタント

導入

従来の顧客サービス分野は、手作業に大きく依存し、データ集約的であることが特徴です。大量のユーザーからの質問に直面した場合、手動のカスタマー サービスでは、ユーザーの質問に基づいて大量のデータからユーザーの質問に関連するデータを探し出し、回答する言語を整理する必要があります。応答時間は、手動のカスタマーサービスの業務経験とビジネス シナリオの複雑さによって制限されます。応答に時間がかかると、ユーザーのショッピング体験に重大な影響を及ぼします。

インテリジェントな顧客サービスとは、大規模言語モデル (LLM) の優れた自然言語処理および理解機能を活用し、プライベート データを統合して手動の顧客サービスを強力にサポートし、手動の顧客サービスのサービス効率と品質を向上させることで、特定のシナリオ向けのインテリジェントな顧客サービス システムを構築することを指します。

1. アプリケーションシナリオとシステムブロック図

ユーザーが目にする製品表示インターフェースには、詳細な製品パラメータと品質検査レポートがあります。製品パラメータには製品の基本情報が含まれており、品質検査レポートはZhuanzhuanの品質検査部門が発行する権威ある検査レポートであり、ユーザーが中古製品の真の状態を理解するのに役立ちます。

製品詳細ページ

Zhuan Zhuan アプリでのユーザーとカスタマー サービスとの会話の内容は、製品パラメータの相談、品質検査レポートの相談、プロモーションの相談、プラットフォーム ポリシーの相談、アフターセールスの相談、カジュアルなチャットと挨拶の 6 つのカテゴリに大別できます。ユーザーが製品パラメータや品質検査レポートについて質問した場合、人間のカスタマーサービススタッフは、さまざまな製品詳細や品質検査項目から顧客の質問に関連する項目を見つけ、それに応じた回答をユーザーに提供する必要があります。ユーザーがクリックした商品のすべてのデータから回答を検索するのは時間がかかります。手動のカスタマー サービスでは、ユーザーの質問に迅速に対応するために、ユーザーが問い合わせる商品パラメータをより深く理解する必要があります。

ChatGPT の自然言語処理と理解機能を使用して、人間のカスタマー サービスが製品の詳細や品質検査レポートの大きなセクションからユーザーの興味のある項目を見つけ、ユーザーの質問に答えるのを支援しましょう。

インテリジェント顧客サービス システム全体のブロック図を下図に示します。ユーザーが手動相談ダイアログを開始すると、まず顧客サービス担当者が割り当てられます。ユーザーがクリックした製品情報は顧客サービス担当者に同期されます。次に、インテリジェント顧客サービス システムは補助情報を提供します。顧客サービス担当者は情報を採用するかどうかを決定し、ユーザーに回答を提供します。その後、会話が終了します。

システムブロック図

インテリジェント顧客サービス システムは、ユーザー問題分類モジュール、知識スクリーニング モジュール、ChatGPT インテリジェント顧客サービス モジュールの 3 つのモジュールに分かれています。システムの第 1 フェーズには ChatGPT インテリジェント顧客サービス モジュールのみが含まれていましたが、最適化の第 2 フェーズと第 3 フェーズでは、ユーザーの問題分類モジュールと知識スクリーニング モジュールが追加されました。その作成過程を見てみましょう。

2. ChatGPTをベースにしたインテリジェントなカスタマーサービスアシスタントを構築する

2.1 ChatGPTの原則

ChatGPT は Open AI によって開発された LLM です。GPT の正式名称は Generative Pre-Trained Transformer です。 ChatGPT は、事前トレーニング済み言語モデルの GPT シリーズに属します。GPT シリーズ モデルには、GPT-1、GPT-2、GPT-3 が含まれます。GPT シリーズ モデルのパラメータ量は、次の表に示されています。

モデル規模の指数関数的な拡大により、モデル理解能力の質的な飛躍がもたらされました。しかし、モデルの理解はユーザーの意図と一致していません。 ChatGPTはGPT-3に基づいています。トレーニングネットワークは、プロンプト学習と強化学習を人間のフィードバックとともに使用してネットワークをトレーニングし、モデルが指示に従い、人間にとって有用で信頼性が高く無害な回答を出力できるようにします[1-2]。ヒント学習はメタ学習の一種で、モデルにタスク情報を伝えることでネットワークが学習するようにトレーニングします。この方法は、さまざまな NLP タスクをテキスト生成タスクに正規化します。プロンプト学習は、モデルがすでに学習した知識をマイニングし、指示 (プロンプト) はモデルの完了能力を刺激することができます。人間のフィードバックに基づく強化学習は、予測されたコンテンツに対する人間の好みに基づいて報酬関数をトレーニングします。この人間の好みを反映した報酬関数は強化学習の報酬として使用され、報酬を最大化するために近似ポリシー最適化を通じてネットワーク戦略がトレーニングされます。

2.2 プロンプトデザイン

ChatGPT は知識ベースのようなものです。この知識ベースから必要な知識を得るには、明確な指示が必要です。 ChatGPT に、達成すべき目標と作業を完了するために必要な詳細な手順を明確な指示で伝え、簡単な例をいくつか示すことで、ChatGPT が指示をよりよく理解して実行できるようになります。標準的な指示は次の 5 つの部分で構成されます。

（１）タスクの説明

（２）背景知識の注入

（３）出力フォーマットの合意

（４）サンプル入力とサンプル出力を含む例

（５）与えられた入力データ

ここでは、Zhuanzhuan インテリジェント カスタマー サービスを例に、このシナリオのプロンプトを設計します。

あなたは今、電子商取引の顧客サービス担当者です。以下に示す製品情報と品質検査情報に基づいて、ユーザーの質問に答えてください。質問に答えるときは、製品情報と品質検査情報の関連項目に基づいて簡潔に答える必要があります。製品パラメータ: {$product_info}、品質検査情報: {$quality_info}。

AI: 何か質問はありますか?

ユーザー: バッテリーの修理や交換はありますか?

AI：品質検査報告書のバッテリーテスト項目によると、バッテリーはプラットフォームによって交換されており、交換されたバッテリーのブランドは新しいヘイズバッテリーです。

ユーザー: バッテリー容量はどれくらいですか?

プロンプト全体は 4 つの部分に分けられます。最初の部分ではタスクを紹介し、2 番目の部分では知識を注入し、変数 product_info と quality_info はそれぞれ製品の詳細と品質検査レポートに対応します。3 番目の部分ではタスクの例を示し、4 番目の部分ではユーザーへの質問を示します。 LLM には、少数ショットの学習機能があります。いくつかの簡単な例を通して、期待される答えをモデルに伝えることで、LLM が期待どおりにタスクを完了するように導くことができます。この時点でChatGPTから返ってきた返答は、バッテリー容量は2815mAhだというものでした。

ここで、インテリジェント顧客サービスのサービス品質は、手動顧客サービスがインテリジェント顧客サービスの提案をどの程度採用しているかによって測定されます。製品パラメータに関する相談質問の採用率は20％、品質検査に関する相談質問の採用率は6.4％であり、チャットでの挨拶やプロモーション活動などの相談は手動の顧客サービスを好んでいます。 ChatGPTのインテリジェントカスタマーサービスに基づくと、ユーザーの質問に対する応答時間は5〜10秒ですが、手動カスタマーサービスの応答時間は約30秒です。インテリジェントカスタマーサービスの応答速度はより高速です。 ChatGPT API 呼び出しはトークンごとに課金されます。現在、インテリジェント顧客サービスの運営コストは1セッションあたり0.12元です。

3. インテリジェント顧客サービスシステムの最適化の第2段階におけるユーザーの問題分類

インテリジェントなカスタマー サービスが、ユーザーからの問い合わせの種類に応じて提案を採用する度合いにも大きな違いがあります。製品パラメータの相談や品質検査項目の相談に関しては、インテリジェントなカスタマーサービスの意見が高率に採用されており、手動のカスタマーサービスがユーザーの質問への応答速度を向上させるのに役立ちます。しかし、雑談などの問題に関しては、インテリジェントな顧客サービスによる提案はあまり採用されません。

ChatGPTインテリジェントカスタマーサービスモジュールの前にユーザーの質問分類モデルを配置し、製品パラメータ相談や品質検査レポート相談として分類された質問をChatGPTベースのインテリジェントカスタマーサービスシステムに送信することで、コストをさらに削減し、効率を高めます。ユーザーの質問分類モデルでは、テキスト分類タスクに Bert を使用します。次に、このシナリオでの Bert 分類の適用について簡単に紹介します。

3.1 バートの紹介

Bertは、2018年にGoogleが提案した事前学習済みの言語モデルです[3]。このモデルはTransformerのエンコーダー側を使用し、マルチヘッド自己注意メカニズムに基づいて文章内の文脈情報をキャプチャします。事前トレーニング段階では、ネットワークはクローズタスクと文判断タスクを使用してトレーニングされます。下流のタスクに適用する場合、CLS 位置の特徴ベクトルを文ベクトルとして使用し、文分類のネットワークの後の線形層に接続できます。

バート構造図

Bert モデルは事前トレーニング段階で 33 億のテキスト コーパスを使用してトレーニングを行っており、ネットワークはすでに自然言語の基本的な理解をしていました。 Bert 事前トレーニング モデルに基づいて下流タスクを微調整することで、多くの分野で良好な結果が得られました。

3.2 ユーザー質問分類ネットワークトレーニングデータ

ユーザーの質問分類データを手動でラベル付けするには長い時間がかかります。ここでは、ChatGPT を使用して、Bert の微調整段階のトレーニング データとしてユーザーの質問の分類を提供します。

分類タスクを設計するためのプロンプト:

必要に応じて、ユーザーの質問を次のカテゴリに分類してください：[「製品パラメータの相談」、「品質検査レポートの相談」、「アフターセールスの相談」、「プラットフォームポリシー」、「アクティビティ割引」、「チャットの挨拶」]。

ユーザー: この携​​帯電話にはメモリがどれくらいありますか?

AI: 製品パラメータの相談

ユーザー: バッテリーは分解されましたか?

AI:品質検査レポート相談

ユーザー: 注文後、商品はどこから発送されますか?

AI:アフターサービス

ユーザー: 7 日間の理由なしの返品はサポートされていますか?

AI: プラットフォームポリシー

ユーザー: こんにちは

AI: 世間話の問題

ユーザー: ありがとうございます!

AI: 雑談の挨拶

ユーザー: 待機時間はどのくらいですか?

3.3 分類モデルのトレーニング

トレーニング データセットの準備ができたら、Bert の微調整を開始します。ネットワークの入力は文です。テキストがトークナイザーによってセグメント化された後、トークンシーケンスが得られます。 Bert 入力トークンの最大長は 512 を超えてはなりません。シーケンスが長すぎる場合は、切り捨てが実行されます。テキストの先頭と末尾に「[cls]」と「[sep]」を追加した後、ネットワークのバッチトレーニングを容易にするためにパディング操作が実行されます。 Bert の辞書によれば、処理されたシーケンスは対応する ID にマッピングされ、トレーニングのためにネットワークに送信できます。自己注意では位置情報を取得できないため、Bert はトークン埋め込みに位置埋め込みを重ね合わせます。

バート入力構成

次に、モデルの構造を定義します。コードは次のとおりです。

 Import torch.nn as nn from transformers import BertModel class Classifier(nn.Module): def __init__(self,bert_model_path,num_classes): super(Classifier,self).__init__() self.bert = BertModel.from_pretrained(bert_model_path) self.dropout = nn.Dropout(0.1) self.fc = nn.Linear(768, num_classes) def forward(self,tokens,masks): _, pooled_output = self.bert(tokens, attention_mask=masks,return_dict=False) x = self.dropout(pooled_output) x = self.fc(x) return x

Bert モデルによって生成される特徴次元は 768 です。ドロップアウト レイヤーが一定の割合の重みをランダムにマスクした後、線形レイヤーに送信され、特徴ベクトルがラベル空間にマッピングされます。num_classes は、ラベル空間の次元に対応します。ここでは、分類するカテゴリが 6 つあります。トレーニングでは、学習率 1e-5 の AdamW オプティマイザーを使用し、10 ラウンドにわたってトレーニングされました。テストセットの精度は 76.6%、f1 は 0.754 です。製品パラメータ相談のf1は0.791、品質検査レポート相談のf1は0.841です。

写真

トレーニング損失と精度

インテリジェント顧客サービスシステムは、事前に設定されたユーザーの質問分類モデルを通じて、採用率が低く、手動の顧客サービスが回答するのに適した質問を選別します。インテリジェント顧客サービスシステムがユーザーセッションに応答するコストはセッションあたり0.033元に削減され、運用コストは72.5％削減されました。

4. インテリジェント顧客サービスシステムフェーズ3の最適化：業務詳細と品質検査関連知識のスクリーニング

インテリジェントな顧客サービスを構築する場合、プロンプトには、ユーザーの質問に対するこれらの項目の関連性を考慮せずに、製品の詳細と品質検査情報がすべて含まれます。例えば、ユーザーの質問が電池に関するものだった場合、製品の詳細や品質検査項目に関する知識を注入する際には、電池に関する知識のみを注入することができます。トークン番号が長くなるほど、ChatGPT の処理時間は長くなります。知識注入のためのユーザー質問に関連する業務内容や品質検査項目をスクリーニングすることで、セッション完了に必要なトークン数をさらに圧縮でき、インテリジェントカスタマーサービスの運用コストを削減するとともに、インテリジェントカスタマーサービスの応答速度も向上します。

Bert は 2 つの文の類似度を計算するときに、2 つの文を同時に Bert に入力して情報を交換します。計算速度は比較的遅く、文のベクトルを事前に計算できないため、意味検索は比較的遅くなります。センテンスバートはツインネットワークのフレームワークを借用し、2つの文を2つのバートモデルに入力します。これら2つのモデルのパラメータは共有されます。ネットワーク構造[4]を下図に示します。 Bert ネットワークは、各トークンの埋め込みベクトルを出力し、プーリング戦略を通じて文ベクトルの表現を生成します。この論文では、"[CLS]"、平均プーリング、最大プーリングを使用して文のベクトル表現を生成しています。実験では、平均法を使用したプーリング戦略が最も効果的であることが示されています。得られた文ベクトルは、2 つの文間のコサイン類似度を計算して、2 つの文間の類似度を測定します。

SBert構造図

ユーザーがカスタマーサービスに「バッテリーの寿命はどのくらいですか？」と尋ねたとします。カスタマーサービスは、ユーザーがクリックした製品の詳細を取得します：95％新品iPhone 12 128Gパープル、中国移動5G、中国聯通5G、中国電信5G、国立銀行。ネットワーク標準：すべてのネットワークアクセス。購入チャネル：国立銀行。保証ステータス：期限切れまたは30日未満。バッテリー健康値：85％〜90％。システムバージョン：iOS 16.5.1; 充電回数: 562; SIMカード: デュアルSIMカードをサポート; 出所: 中古プレミアム製品; IMEI: 352***833; サービス情報: 正規の公式検証、質問なしの7日間、1年間のプラットフォーム保証、SFエクスプレスによる送料無料、携帯電話サービス権利カード、長沙循環センターに保管、今すぐ注文すると8月17日に配達予定; CPUモデル: Apple A14; バッテリー容量: 2815mAh; CPUメイン周波数: 3.0GHz; ロック解除方法: 顔認識; 急速充電のサポート: はい;充電ピーク電力：20W;解像度：2532*1170;画面サイズ：6.1インチ;メイン画面素材：OLED;市場投入までの時間：2020-10;オペレーティングシステム：iOS;画面タイプ：フルスクリーン;リアカメラ：1200万画素+1200万画素;フロントカメラ：1200万画素;カメラ総数：3台（背面に2台）;本体重量：162g;本体サイズ：146.7*71.5*7.4mm;本体タイプ：ストレートボード。

カスタマーサービスによってクリックされた製品のサンプル（シェルの外観の条件） /塗りつぶし - カメラの外観の条件 - 液体浸漬の条件：液体浸漬の条件：修理なしと液体の浸透の条件エルシオン - 液体充電 - 充電 - 通常の充電 - 包装とアクセサリーの条件なし;

製品詳細と品質検査項目のうち、ユーザーの質問に関連する項目はごくわずかであることがわかります。すべての製品詳細と品質検査項目に知識を注入すると、大量のトークンが無駄になり、ChatGPT はユーザーの質問に答えるために非常に長いシーケンスで関連情報を見つける必要があり、応答速度が遅くなり、効率が低下します。ここでは、Sentence-Bert を使用して、ユーザーの質問、製品の詳細、品質検査項目の文章ベクトルを計算します。知識注入のために、コサイン類似度に基づいて関連性の高い上位 5 つの製品の詳細と品質検査項目が選択されます。ChatGPT は、製品のバッテリーに関連する知識に基づいてユーザーに応答を提供します。上位 5 つの製品の詳細は次のとおりです: バッテリー容量: 2815mAh、バッテリー健康値: 85%-90%、充電回数: 562 回、ピーク充電電力: 20W、本体サイズ: 146.7x7x1.5x7.4mm、上位 5 つの品質検査項目は次のとおりです: 充電状態 - 有線充電: 正常、バッテリー検査状態 - バッテリー: 修理または交換なし、充電状態 - ワイヤレス充電: 正常、ボタン状態 - 電源ボタン: 正常、パッケージおよび付属品の状態 - 充電器: なし。このとき、ChatGPTインテリジェントカスタマーサービスからの回答は「バッテリー容量は2815mAhです」でした。元の知識注入トークンの数は 1228 でした。関連知識のスクリーニング後、トークンの数は 132 に減少し、89% 減少しました。

知識スクリーニング

5. まとめ

LLM の優れた自然言語理解機能は、あらゆる分野の人々に力を与えることができます。従来の手動の顧客サービス分野は人手に大きく依存しており、データ集約型です。このシナリオでは、処理が不十分な大量のデータが LLM の実装に最適な基盤となります。 ChatGPT をベースに構築されたインテリジェントな顧客サービス システムがリリースされ、顧客サービスの品質と効率性の向上に役立ちます。

6. 参考文献

[1] Ouyang L、Wu J、Jiang X、et al.人間のフィードバックによる指示に従う言語モデルのトレーニング[J].arXiv e-prints、2022。DOI：10.48550 / arXiv.2203.02155。

[2] Brown TB、Mann B、Ryder N、et al.言語モデルは少数ショット学習者である[J]。2020.DOI:10.48550/arXiv.2005.14165。

[3] Devlin J、Chang MW、Lee K、et al.BERT：言語理解のためのディープ双方向トランスフォーマーの事前トレーニング[J]。2018.DOI：10.48550 / arXiv.1810.04805。

[4] Reimers N、Gurevych I.Sentence-BERT：Siamese BERTネットワークを使用した文埋め込み[J]。2019.DOI：10.18653 / v1 / D19-1410。

著者について

上級 NLP アルゴリズム エキスパートである Wang An は、検索シナリオにおけるユーザーの意図の理解と、ChatGPT に基づくインテリジェントな顧客サービスの実装を担当しています。テキスト分類、エンティティ認識、関係マッチング、質疑応答シナリオに関する豊富な経験を持っています。 WeChat ID: tiantian_375699720、建設的な交流を歓迎します。