陳丹奇のACL学術レポートがここにあります!大規模モデル「プラグイン」データベースの7つの主要な方向性と3つの主要な課題の詳細な説明、3時間の実践的な知識

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

清華大学ヤオクラスの卒業生である陳丹奇さんがACL 2023で最新のスピーチを行いました。

このテーマは、最近でも非常に人気のある研究分野です——

GPT-3 や PaLM のような(大規模な)言語モデルは、より適切に適用できるように、自身の欠点を補うために検索に依存する必要がありますか?

この講演では、彼女と他の 3 人の講演者が共同で、トレーニング方法、アプリケーション、課題など、このトピックのいくつかの主要な研究方向を紹介しました。

写真

講演中の聴衆の反応も非常に熱狂的でした。多くのネットユーザーが真剣に質問を投げかけ、何人かの講演者が全力を尽くして答えました。

写真

このスピーチの具体的な効果についてはどうでしょうか？一部のネットユーザーはコメント欄に直接「推薦」を残した。

写真

それで、この3時間のスピーチで彼らは一体何について話したのでしょうか?他に聞く価値のあるものは何ですか?

大規模なモデルに「外部」データベースが必要なのはなぜですか?

この講演の中心テーマは「検索ベース言語モデル」であり、これには検索と言語モデルという2 つの要素が含まれます。

定義の観点から見ると、データ検索ライブラリを言語モデルに「プラグイン」し、推論（およびその他の操作）を実行するときにこのデータベースを検索し、最終的に検索結果に基づいて出力することを意味します。

このタイプの外部データ リポジトリは、セミパラメトリック モデルまたはノンパラメトリック モデルとも呼ばれます。

写真

この方向を研究する理由は、GPT-3 や PaLM などの(大規模な)言語モデルは、良好な結果を示している一方で、主に次の 3 つの問題という厄介な「バグ」も抱えているためです。

1.パラメータの数が多すぎます。新しいデータに基づいて再トレーニングする場合、計算コストが高すぎます。
2.記憶力の低下（長い文章に直面すると、次の文章は覚えているが、前の文章を忘れてしまう）により、時間が経つにつれて幻覚が起こり、データが漏洩しやすくなります。
3.現在のパラメータ数では、すべての知識を記憶することは不可能です。

この場合、外部検索コーパスが提案されました。つまり、大規模な言語モデルにデータベースを「プラグイン」して、いつでも情報を検索して質問に答えられるようにします。さらに、このデータベースはいつでも更新できるため、再トレーニングのコストを心配する必要はありません。

定義と背景を紹介した後、この研究方向の具体的なアーキテクチャ、トレーニング、マルチモーダル性、アプリケーション、課題について説明します。

アーキテクチャの面では、検索言語モデルに基づいて、主に検索内容、検索方法、検索の「タイミング」について紹介しています。

具体的には、トークン、テキストブロック、エンティティメンションを主に検索するモデ​​ルです。検索方法やタイミングも多様で、非常に柔軟なモデルアーキテクチャとなっています。

写真

学習方法の面では、独立学習（言語モデルと検索モデルを別々に学習） 、順次学習、マルチタスク学習（共同学習）に重点が置かれています。

写真

アプリケーションに関しては、このタイプのモデルには多くのことが含まれます。コード生成、分類、知識集約型 NLP などのタスクだけでなく、微調整、強化学習、検索ベースのプロンプトなどの方法でも使用できます。

アプリケーション シナリオも非常に柔軟で、ロングテール シナリオ、知識の更新が必要なシナリオ、プライバシーとセキュリティに関連するシナリオなどがあり、それぞれに用途があります。

もちろん、テキストだけではありません。このタイプのモデルはマルチモーダル拡張の可能性もあり、テキスト以外のタスクにも使用できます。

写真

このタイプのモデルには多くの利点があるように思えますが、検索ベースの言語モデルには現在いくつかの課題があります。

最後の「閉会」演説で、陳丹奇氏はこの研究方向で解決する必要があるいくつかの大きな問題を強調しました。

まず、小さな言語モデル + (常に拡大する)大規模なデータベースは、本質的に、言語モデル内のパラメータの数が依然として非常に多いことを意味するのでしょうか?この問題を解決するにはどうすればいいでしょうか?

たとえば、このタイプのモデルのパラメータ数は非常に少なく、わずか 70 億パラメータですが、外部データベースは 2T に達する可能性があります...

写真

2番目は類似性検索の効率です。検索効率を最大化するためのアルゴリズムの設計方法は、現在非常に活発な研究分野です。

写真

3番目に、複雑な言語タスクを完了します。オープンテキスト生成タスクや複雑なテキスト推論タスクを含め、検索ベースの言語モデルを使用してこれらのタスクを完了する方法も、継続的な調査が必要な方向性です。

写真

もちろん、陳丹奇氏は、これらのテーマは研究の機会であると同時に課題でもあると述べました。まだ論文のテーマを探している友人は、それを研究リストに追加することを検討してください〜

このスピーチのテーマが「どこからともなく」見つかったわけではないことは特筆に値します。4人の講演者は、スピーチの参考資料として使った論文へのリンクを公式ウェブサイトに親切に掲載してくれました。

モデルアーキテクチャ、トレーニング方法、アプリケーション、マルチモーダル性から課題まで、これらのトピックのいずれかに興味がある場合は、公式 Web サイトにアクセスして、対応する古典的な論文を見つけることができます。

写真

観客の質問にその場で答える

この有益なスピーチでは、4 人の講演者がそれぞれ豊富な経験を持っていました。講演中、彼らは聴衆からの質問にも辛抱強く答えました。

まずは講演者が誰なのか見てみましょう。

最初に登壇し、プリンストン大学のコンピューターサイエンスの助教授であるダンキ・チェン氏がスピーチを主導した。

写真

彼女は近年、コンピューターサイエンスの分野で最も人気のある中国の若手学者の一人であり、清華大学の2008年ヤオクラスの卒業生です。

情報科学のコンテストの世界で、彼女は伝説的な存在です。CDQ分割統治アルゴリズムは彼女にちなんで名付けられました。 2008年、彼女は中国チームを代表してIOI金メダルを獲得した。

彼女の 156 ページに及ぶ博士論文「神経による読解とその先」は、瞬く間に成功を収めました。同論文はその年のスタンフォード最優秀博士論文賞を受賞しただけでなく、過去 10 年間でスタンフォード大学で最も人気の高い論文の 1 つにもなりました。

現在、Chen Danqi 氏はプリンストン大学のコンピューターサイエンスの助教授であるほか、ゼロから構築された同校の NLP グループの共同リーダーであり、AIML グループのメンバーでもあります。

彼女の研究は自然言語処理と機械学習に焦点を当てており、現実世界の問題に対して実行可能で、拡張可能で、一般化可能な、シンプルでありながら信頼性の高い方法に興味を持っています。

プリンストン大学からは、陳丹奇氏の弟子である曽玄鍾氏も来ている。

写真

Zexuan Zhong はプリンストン大学の博士課程 4 年生です。彼はイリノイ大学アーバナ・シャンペーン校で修士号を取得しました。同校の指導教官は Xie Tao でした。彼は北京大学コンピューターサイエンス学部で学士号を取得し、Microsoft Research Asia でインターンシップを行いました。同校の指導教官は Nie Zaiqing でした。

彼の最新の研究は、非構造化テキストからの構造化情報の抽出、事前トレーニング済み言語モデルからの事実情報の抽出、高密度検索モデルの一般化能力の分析、検索ベースの言語モデルのトレーニング手法の開発に焦点を当てています。

さらに、ワシントン大学の浅井あかり氏とミン・セウォン氏も講演者となります。

写真

浅井あかりさんはワシントン大学で自然言語処理を専攻する博士課程 4 年生です。学士号は東京大学で取得しました。

彼女の主な関心は、情報取得を改善するための信頼性と適応性に優れた自然言語処理システムの開発です。

最近、彼女の研究は、一般的な知識検索システム、効率的で適応的な NLP モデルなどの分野に焦点を当てています。

写真

セウォン・ミンはワシントン大学の自然言語処理グループの博士課程の学生です。博士課程在籍中、彼は Meta AI でパートタイムの研究員として 4 年間勤務しました。彼はソウル国立大学で学士号を取得しました。

彼女の最近の研究は、言語のモデル化、検索、およびそれらの交差点に焦点を当てています。

演説中、聴衆は、なぜ困惑が演説の主な指標として使われたのかなど、多くの質問を熱心に投げかけました。

写真

講演者は慎重に答えた。

パラメータ化された言語モデルを比較する場合、パープレキシティ尺度(PPL)がよく使用されます。しかし、困惑度の改善が下流のアプリケーションに反映されるかどうかは、依然として研究課題です。

研究では、パープレキシティは下流のタスク（特に生成タスク）とよく相関しており、パープレキシティは一般に非常に安定した結果をもたらすことが示されています。パープレキシティは、大規模な評価データ（下流のタスクに比べてラベル付けされていないため、手がかりの感度や大規模なラベル付けデータの欠如の影響を受け、結果が不安定になる場合があります）で評価できます。

写真

一部のネットユーザーからは次のような疑問も投げかけられた。

「言語モデルのトレーニングにはコストがかかり、検索を導入することでこの問題を解決できる可能性がある」という記述に関して、時間の複雑さを空間の複雑さ(データ ストレージ)に置き換えているだけでしょうか?

講演者は次のように答えました。

私たちの議論は、言語モデルをより小さなサイズに縮小し、それによって時間とスペースの要件を削減する方法に焦点を当てています。しかし、実際にはデータストレージには追加のオーバーヘッドも加わるため、慎重なトレードオフと調査が必要となり、これが現在の課題であると考えています。

100億以上のパラメータを持つ言語モデルをトレーニングすることと比較して、現時点で最も重要なことはトレーニングコストを削減することだと考えています。

写真

このスピーチのPPTを探したり、特定のリプレイを見たい場合は、公式ウェブサイトにアクセスしてください〜

公式サイト: https://acl2023-retrieval-lm.github.io/