中国語からSQLへの自動変換精度92%、このKaggleマスターが世界記録を更新

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

Zhuiyi Technologyが主催した第1回中国NL2SQLチャレンジで、国際レベルを超えた新たなNLP研究成果が生まれました。

NL2SQLタスクでは、コンテストで最高の結果が92.19%の精度に達し、英語NL2SQLデータセットWikiSQLの現在の完全一致精度86.0%を上回り、実行一致精度の点では91.8%という最高のパフォーマンスを達成しました。

この成果を達成したチームの名前は非常に野心的で、「90歳になるまで名前を変えない」と呼ばれています。チームメンバーには、国防科学技術大学の医師である張暁宇、修士課程の学生である蔡斌、Antech AIの王蘇紅が含まれます。彼らはこの大会で優勝し、賞金8万元を持ち帰りました。

優勝チームは、CMU、北京大学、清華大学、上海交通大学、南京大学、USTCなど多くの大学や、中国移動、平安、捜狗などの企業から参加した1,457のチームの中で、92％を超える得点で抜きん出ました。この得点は、コンテスト審査員である復旦大学の肖陽華教授を驚かせ、「結果は完全に予想を上回りました」と述べました。

もう一人の審査員で、コンテスト主催者であるZhuiyi TechnologyのCTOであるLiu Yunfeng氏は、タスクの精度がコンテスト開始時の最高結果の60％以上から92.19％以上に向上し、当初の想像を超える改善だったと語った。

さらに、このコンテストで使用された中国語のデータセットはWikiSQLの英語のデータセットよりも難しいため、同じ設定で優勝チームのソリューションが中国語のタスクにおける外国機関の最高のアルゴリズム（最先端）を上回ったことが証明されました。

NL2SQL ベストプラクティスの公開

自然言語を機械が理解できる SQL 文に「翻訳」する NL2SQL は、人間とコンピュータのインタラクションにおいて大きな価値があります。このような結果は、92.19% のケースで、機械がユーザーの発言を正確に理解し、必要な回答を返すことができることを意味します。

そうですね、機械は人間の言語を理解できるので、複雑なデータベースから情報を見つけるのが簡単になります。

肖陽華教授は、ビッグデータの価値実現を阻む最大の問題は、データへのアクセスのハードルが高すぎるため、データベース管理者が複雑なSQLを記述しなければならないことだと述べた。また、中国語の表現はより多様であることを考慮すると、中国語のNL2SQLは英語よりもはるかに難しい。

△肖 陽華教授

したがって、中国語の人間言語からSQLなどのコンピューター言語への変換の問題が解決されると、あなたとコミュニケーションをとるAIシステムは「よりスマート」になり、あなたの質問を理解して答えを見つけることが容易になります。アプリ内のスマートカスタマーサービスや自宅のスマートスピーカーがあなたの質問の答えを知らないケースも少なくなります。

中国の NL2SQL の問題に関しては、優勝チームの Zhang Xiaoyu が競技会の防衛で実装方法を明らかにしました。

△優勝チームキャプテン 張暁宇

WikiSQLランキングで1位にランクされ、Microsoft Dynamics 365チームから生まれたX-SQLには、いくつかの問題があります。モデルフレームワークが完全に適応されておらず、列の機能は値の抽出に重要ではなく、抽出の混乱が生じやすいです。

これらの問題に対処するため、チャンピオンチームは、 X -SQLの元々の6つのサブタスクを8つのサブタスクに変更し、S-num、値抽出、値マッチングの3つのサブモデルを追加したM-SQLを提案しました。これは、クエリに含まれるすべての値を一度に抽出し、値とデータベーステーブルフィールドの関係を判断します。

その後、細かい改善を行いました。たとえば、データの前処理では、データ、年、単位、日付、同義語を変更してクエリパラダイムを統一しました。クエリ情報表現では、CLS タグを XLS タグに置き換え、オフライン検証セットの精度を 0.3 パーセントポイント向上させました。

使用される事前トレーニング済みモデルは、ハルビン工科大学がリリースしたBERT-wwm-extモデルです。

張暁宇さんは最終結果に非常に満足し、「機械の性能は私より優れていると思います。人間のレベルを超えたと恥ずかしげもなく言えます。」と語った。

チャンピオンシップチーム

「90歳まで名前を変えるな」チームのキャプテンである張暁宇さんは、国防を学ぶ学生であり、NLPの分野に重点を置く競技愛好家です。彼は、2018 年の Rice Cup Military Reading Comprehension Challenge で 2 位を獲得し、2019 年の Kaggle PetFinder コンテストで金メダルを獲得し、現在は Kaggle Master のリストに載っています。

チームのもう 1 人のメンバーである Sai Bin は、国立国防科学技術大学の同級生であり、Wang Suhong は Kaggle コミュニティで出会ったチームメイトで、現在 Kaggle リーダーボードの上位 1,000 人のユーザーの 1 人です。

このチームは優勝しましたが、他のチームよりも遅く準備を始めました。彼らが準備を始めたとき、他のチームはすでに2週間前から準備をしていました。

あと1ヶ月しかありません。 1か月の準備期間中、3人は毎日オンラインで協力して計画を話し合い、平均して1日5〜6時間働いていた。

彼らは１位という結果に驚きませんでした。結局のところ、このツールはすでにリストの 1 位にランクされており、このタスクにおける精度も業界トップクラスであるため、1 位にランクされるに値します。

最後に、コンテストでの経験について、Zhang Xiaoyu 氏は「もっとコードを書き、もっと論文を読む」と非常にシンプルにまとめました。

技術的な「ハンマー」がシーンの「釘」を見つけるのを手伝ってください

Zhuiyi Technology は深センに本社を置き、北京、上海、南京、香港、シンガポール、ベラルーシにも研究開発チームまたは支店を持っています。

Zhuiyiは設立から3年間で、China Merchants Capital、Sinovation Ventures、Morningside Venture Capital、Banyan Capital、GGV Capitalから4回の投資ラウンドを完了し、総資金調達額は7,000万米ドルに達しました。China Merchants Bank Credit Card、China Mobile、China Southern Power Grid、PICC、TencentはすべてZhuiyiの顧客です。

資金調達規模から判断すると、このテンセント系のAI企業は国内のNLP分野のリーダーになったと言える。

テクノロジー面では、Zhuiyi はさまざまな NLP タスクで画期的な進歩を遂げ、CoQA や CMRC2018 中国語機械読解などのコンテストで優勝しました。

NL2SQLタスクについて、かつてテンセントでT4レベルに到達した劉雲鋒氏は、このコンテストの前は中国のNL2SQL企業はZhuiyiとマイクロソフトの2社しかなかったが、今回のコンテストを通じて、みんなが火を燃やすことができれば、この技術は推進できると語った。

「お客様は釘を持っていても、それを打つためのハンマーの種類を知りません。一方、私たちAI企業はハンマーを持っていても、釘がどこにあるのかを知りません。このコンペティションを通じて、釘とハンマーをマッチングさせ、技術を実装するためのシナリオを見つけることができます。」

NLPからコンピュータービジョンへ

このコンテストはNLP分野のコンテストであるにもかかわらず、コンピュータービジョン分野の研究者が多数参加したことは注目に値します。決勝に進出したチーム「Take Me Fly, Boss」のメンバー2人は、CVの大学院生です。

△ Zhuiyi Technology CTO 劉雲鋒氏

Zhuiyi TechnologyのCTOである劉雲鋒氏は、産業実装に関しては、マルチモーダル融合の傾向が強まり、ビジョンとNLPがますます組み合わされるようになると考えています。複数の信号の同時処理が必要であり、人間とコンピューターの相互作用にはNLP技術だけでなくビジョン技術も必要です。NLP企業であるZhuiyi Technology自体も、ビジョンと音声の技術チームを持っています。

「AI企業は主にエンタープライズサービスを提供します。企業は1つの方向（テクノロジー）だけに焦点を当てることはありません。企業がNLPとビジョンの両方を必要とする場合、2つのテクノロジーを単独で統合することはできないため、2つの企業を探すことはありません。」

そのため、劉雲鋒氏は、将来AIをリードする企業はフルスタックAI企業でなければならないと考えています。そうした企業は最先端の技術を持ちながらも、1つの分野の技術だけに焦点を当てるわけではないのです。

最後に、このコンテストのデータセットは後日公開される予定です。おそらく、これが NLP 分野における次の激戦の場となるでしょう。

Zhuiyi Technologyが主催した第1回中国NL2SQLチャレンジで、国際レベルを超えた新たなNLP研究成果が生まれました。

NL2SQLタスクでは、コンテストで最高の結果が92.19%の精度に達し、英語NL2SQLデータセットWikiSQLの現在の完全一致精度86.0%を上回り、実行一致精度の点では91.8%という最高のパフォーマンスを達成しました。