中国人の「専門用語」データセット、AI：あなたはDBQさえ理解していない

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

「007」といえば、間違いなくジェームズ・ボンドを思い浮かべるでしょう。

このような隠された意味を持つ言葉は、暗号語、暗号語、専門用語なども含めて総称してCantと呼ばれます。

一般的なものとしては「666」や、zqsg や xswl などのオンライン「コードワード」などがあります...

これらの言葉を理解することは、日常生活、広告、コメディにおいて非常に重要です。

では、どうすれば AI にそれらを理解させることができるのでしょうか?

最近、USCD と Beihang University の研究者が「ゲームをプレイ」しながら Cant - DogWhistleのデータセットを開発し、オープンソース化しました。

ゲームでデータを収集する

研究チームは古典的なボードゲーム「Decrypto」を改造し、「Decrypto Online」を設計し、その記録を使用してデータを収集しました。

△Decryptoオンラインプレイヤーインターフェース

簡単に言うと、Decrypto ゲームは 4 人のプレイヤーを 2 つのチームに分け、チーム リーダーがヒントとなる単語 B を提供して、チームメイトが最初の単語 A と関連付けられるようにし、対戦相手が単語 A を推測できないようにします。

具体的には、各チームには1 ～ 4 の番号が付けられた 4 つの初期単語があり、チームのメンバーだけがこれらの単語を知ることができます。

各ラウンドで、チームリーダーはコード カードを引き、カード上の 3 つの数字に基づいて対応する連続単語のヒント (Cant) を与えます。たとえば、最初の単語 1 が「black」の場合、1 に対応するヒント単語は「night」になります。

最初のラウンドでは、チームメイトがヒントの言葉に基づいてカードの数字を推測し、チームリーダーが正しいかどうかを発表します。同時に相手側もこの情報を記録します。

2 ラウンド目では、キャプテンが再び数字カードを引き、ヒントとなる単語を出します。両チームはそれを基に数字を推測します。答えが正しければ、1 ポイントが加算されます。

つまり、キャプテンが与えるヒントの言葉は、チームメイトが最初の言葉に対応できるようにしながらも、相手がそのつながりを解明できないようにする必要があります。

タスク設定

研究者らはモデルに2つのサブタスクを設定し、最初の単語は可視と不可視とした。

社内スタッフサブタスクは社内スタッフ間のコミュニケーションをシミュレートし、最初の行の最初の 4 つの単語が入力として使用されます。絵文字はコミュニケーションにおいて重要な役割を果たすため、有効な入力としても使用できます。

モデルは最初の単語と手がかり単語を推測し、最初の単語（灰色の背景）に対応するシーケンス番号を予測して出力します。

外部スタッフサブタスクでは、最初の単語は表示されません。

モデルは推測された単語レコードや手がかり単語などをもとに推論を行い、レコードに対応するシリアル番号（灰色の背景）を予測して出力します。

定量分析

さまざまなモデルがCantを理解する能力を理解するために、研究者は2つのサブタスクを通じて定量分析を実施しました。

△ 2つのサブタスクの精度スコアの比較

単語埋め込みの類似性のテストでは、多様な大規模データセットでトレーニングされた DSG が他のモデルを大幅に上回りました。

より強力な計算能力を持つ大規模モデルは、内部タスクにおいて基本サイズモデルよりも大幅に優れたパフォーマンスを発揮します。たとえば、RoBERTa ベースと ERNIE ベースはどちらも BERT ベースよりも優れています。

さらに、パラメータ共有を備えた ALBERT-base は、両方のタスクで BERT よりもわずかに低くなります。

注目すべきは、両方のタスクで最高のパフォーマンスを示したモデルが、人間のパフォーマンスよりそれぞれ 12.8 と 8.5 という大きな差で遅れをとっていることです。

これは、DogWhistle が非常に挑戦的なデータセットであり、次世代の事前トレーニング済み言語モデルに新たな活躍の場を提供していることを示しています。

定性分析

研究者らはまた、BERT が内部タスクで予測できなかったが、人間は正しく予測できたものの代表的な例も挙げた。

「踊る棺担ぎ」はモデルが発売された後に登場したので、モデルはこのテーマについてあまり知識がないのかもしれません。

「007」 （ジェームズ・ボンドの映画を指す）についての推論には、モデルが浅い語彙の特徴を過剰に適合させるのではなく、さまざまな知識を高度に理解していることが必要であり、これは自然言語推論の主な欠陥でもあると考えられています。

「子供たちは醤油で遊ぶことができます」というフレーズもありますが、これもモデルが理解するには広範な言語知識が必要です。

研究者らはDogWhistleデータセットを中間タスクとして使用し、中間タスク転移学習を通じてモデルのパフォーマンスを向上させました。

まず、モデルは内部サブタスクで微調整され、次に Ant Financial Question Matching Corpus (AFQMC) と Large Chinese Question Matching Corpus (LCQMC) で再度微調整されます。

△元のタスクと中間タスクの精度スコア

結果は、DogWhistle が両方のデータセットでモデルのパフォーマンスを向上させるのに役立つことを示しています。

著者について

論文の筆頭著者である徐燦文氏は武漢大学で学び、現在はカリフォルニア大学サンディエゴ校（UCSD）の博士課程に在籍している。

彼はかつて Microsoft Research Asia でインターンをしており、現在は Hugging Face で働いています。彼の主な研究分野は、NLP におけるディープラーニング、自然言語生成、ソーシャル メディア分析などです。

論文の2番目の著者である周王春樹氏は、北京航空航天大学のコンピューターサイエンスの修士です。彼は、Microsoft Research Asiaでインターンとして働いており、NLPの研究に重点を置いています。

著者によると、この論文はNAACL 2021に採択されており、データセットはGitHubでオープンソース化されている。