ニューラル機械翻訳の 3 つの主要な問題をどのように解決するか?清華大学がNMTの最新レビューを発表

今日では、コンピュータ技術は人々の生活のあらゆる側面に浸透しており、仕事や勉強に大いに役立つものといえば、機械翻訳が挙げられます。

近年、コンピュータ技術の継続的な向上とAIシステムの高度化により、常に疑問視されてきた機械翻訳の品質問題も大幅に改善されました。その中で、ニューラル機械翻訳技術による貢献と革新も主要な研究ホットスポットとなっています。

最近、清華大学コンピュータサイエンス学部とインテリジェント産業研究所の機械翻訳研究チームが、ニューラル機械翻訳技術に関する最新のレビュー論文を発表しました。この記事では、ニューラル機械翻訳の手法をレビューし、アーキテクチャ、デコード、データ強化に関連する手法に焦点を当て、研究者に役立つリソースとツールをまとめています。最後に、この分野における将来の研究の方向性について議論します。

清華大学コンピュータサイエンス学部教授で欧州科学アカデミー外国人院士の孫茂松氏と、清華大学知能産業研究所副所長で国家優秀若手科学者の劉洋氏が、この論文の共著者である。

この論文は、AIへのオープンアクセスに焦点を当てた新しいジャーナルであるAI OPENに「ニューラル機械翻訳：方法、リソース、ツールのレビュー」と題して掲載されました。

1 ニューラル機械翻訳技術の開発

機械翻訳は、70 年にわたる発展の中で、その台頭から最盛期、そして衰退から新たな研究アイデアの開拓まで、さまざまな変化を遂げてきました。

1949年、アメリカの科学者ウォーレン・ウィーバーは「翻訳にコンピューターを使用する」というアイデアを初めて提案し、機械翻訳の先駆者の一人としても知られています。 1952 年、イスラエルの有名な哲学者、言語学者、数学者であるイェホシュア・バルヒレルが、最初の機械翻訳会議を開催しました。

それ以来、機械翻訳の品質が要求を満たすのが難しく、30年間にわたってその発展は遅れていました。1990年以降、大量のバイリンガルおよびマルチリンガルコーパスが機械翻訳に新たな血を注ぎ込み、統計的機械翻訳（SMT）が誕生しました。この期間中、IBM の研究者は、辞書と変換規則に基づく機械翻訳方法と、並列コーパスに基づく機械翻訳方法の例を詳しく説明した論文も発表しました。

[[388429]]

近年、ディープラーニングをベースにしたニューラル機械翻訳（NMT）技術が急速に発展しています。ディープラーニングは、チューリング賞を受賞したジェフリー・ヒントンらによって2006年に提唱されました。従来の浅い線形処理に比べて、モデル分析や分類問題の処理においてより正確でパフォーマンスの高い、深い非線形データ処理技術です。

NMT は、これまでの機械翻訳方法とはまったく異なります。一方で、NMT は SMT の離散的な記号表現ではなく連続的な表現を採用しています。他方では、NMT は単一の大規模なニューラル ネットワークを使用して翻訳プロセス全体をモデル化し、過度の特徴エンジニアリングの必要性を排除しています。さらに、NMT トレーニングは、コンポーネントを個別に調整する必要がある SMT とは異なり、エンドツーエンドで行われます。 NMT はシンプルであるだけでなく、複数の言語間の翻訳にも適応でき、最先端のパフォーマンスを実現します。

2 3つの主要な問題をどのように解決するか?

このレビューでは、著者らはまず NMT システムの 3 つの主要な問題について説明しました。

• モデリング、つまり条件付き分布をモデル化するためのニューラル ネットワークをどのように設計するか?
• 推論、つまりソース入力が与えられた場合、NMT モデルから翻訳文を生成するにはどうすればよいでしょうか。
• 学習、つまり、NMT に必要なパラメータをデータから効果的に学習するにはどうすればよいでしょうか?

モデリングに関しては、NMT では通常、埋め込み層、分類層、エンコーダー ネットワーク エンコーダー、およびデコーダー ネットワーク デコーダーで構成されるエンコーダー デコーダー フレームワークが採用されています。

図 | NMT アーキテクチャの概略図。異なる色は異なる言語を表します。

したがって、強力なエンコーダーとデコーダーを構築することが NMT のパフォーマンスにとって非常に重要であり、その方法は、リカレント ニューラル ネットワーク (RNN) ベース、畳み込みニューラル ネットワーク (CNN) ベース、および自己注意ネットワーク (SAN) ベースの 3 つのカテゴリに大まかに分類できます。

この記事では、3 つの方法のメカニズムを詳しく説明するだけでなく、それぞれの長所と短所を比較し、対応する解決策を提案します。たとえば、RNN は勾配消失/爆発の問題が発生しやすく、CNN は受容野が限られていて拡張が難しく、SAN はシーケンス内の単語の順序を無視する傾向があります。

図 | RNN、CNN、SAN がそれぞれシーケンスをエンコードする方法

推論に関しては、NMT は通常、ローカル検索アルゴリズム (貪欲検索やビーム検索など) を使用して、最適な翻訳結果を見つけます。さらに、NMT では通常、トレーニング目的関数として最大対数尤度 (MLE) が使用されます。これは、確率分布のパラメータを推定する一般的な方法です。

図 | ビームサーチアルゴリズム

この記事では、NMT のコンピュータ原理と構築メカニズムに加えて、単一言語データと教師なし NMT の使用に関する研究、NMT の解釈可能性と堅牢性の向上に関する研究など、さまざまな NMT 研究方法とアプリケーションについても説明します。

最後に、この記事では、GitHub から直接入手できる、現在人気の高いオープンソース NMT ツールについてもまとめています。

3 今後の研究の方向性

NMT は大きな成功を収めていますが、まだ検討すべき課題は数多くあります。そこで、この記事では NMT の重要かつ困難な課題をいくつか挙げます。

まず、NMTについての理解を深めましょう。

NMT を分析して説明する試みは数多く行われてきましたが、NMT の分野ではまだ「解明」されていないことがたくさんあることは明らかです。今後、NMT 技術のボトルネックや弱点を打破するためには、NMT がどのように翻訳結果を生み出すのかを理解することが特に重要になります。

次に、より優れた NMT モデルを設計します。

現在、最も一般的なのは Transformer アーキテクチャです。これよりも優れ、翻訳パフォーマンスと計算の複雑さのバランスをとることができる新しいアーキテクチャを設計することは、NMT の研究と制作にとって非常に重要です。

3つ目は、単一言語データを最大限に活用することです。

今日、単一言語データには大きな進歩が遂げられていますが、豊富な単一言語データを活用するには、NMT にはまだ大きな改善の余地があります。

4番目に、以前の知識を統合します。

自然言語に加えて、他の人間の知識を NMT に組み込むことも重要な課題です。離散表現と連続表現間の相互変換をどのように実現するかは、NMT が常に直面している問題であり、さらなる検討が必要です。

参考文献:

https://www.sciencedirect.com/science/article/pii/S2666651020300024

https://www.sciencedirect.com/journal/ai-open