機械翻訳の3つのコア技術原則 | AI知識の普及

機械翻訳技術は 80 年以上にわたって開発されてきました。バベルの塔の伝説は過去のものとなりました。天国に行くことは不可能ですが、身振り手振りをしたり支離滅裂な話をしたりすることなく、優雅にワールドカップについて全世界と議論することはできます。これは、機械翻訳でまだできることです。

01機械翻訳とバベルの塔の伝説

聖書にはこのような話が記録されています。

• かつて人類は、天国に通じる塔、バベルの塔を建てるために団結しました。 神は人類の計画を阻止するために、人間同士が意思疎通できないように異なる言語を話せるようにしました。 そのため計画は失敗し、人類は散り散りになってしまいました。

異なる言語間のバリアフリーなコミュニケーションを実現することは、常に人類の最大の夢の一つでした。

人々が一生懸命に努力しても習得できる言語は数十言語に過ぎないことに気づいたとき、多くの科学者が機械を使って人々のコミュニケーション問題を解決する方法について考え始め、機械翻訳が誕生しました。

機械翻訳とは、実際にはコンピューターを使用して 1 つの自然言語を別の自然言語に翻訳するプロセスです。基本的なプロセスは、前処理、コア翻訳、後処理の 3 つの部分に大まかに分けられます。

前処理とは、言語とテキストを正規化し、句読点によって長い文をいくつかの短い文に分割し、意味に関係のないいくつかの助詞と単語をフィルタリングし、いくつかの数値と非標準的な表現を標準に準拠した文に整理することです。

コア翻訳モジュールは、入力された文字単位とシーケンスをターゲット言語のシーケンスに変換するプロセスです。これは、機械翻訳の最も重要かつ中核的な部分です。

後処理モジュールは、翻訳結果を大文字と小文字に変換し、モデリング単位を連結し、特殊記号を処理することで、翻訳結果が人々の読み方の習慣にさらに一致するようにします。

02紆余曲折を経て前進する機械翻訳

機械翻訳の歴史は 1933 年に始まりました。科学者たちの思いついた大胆なアイデアから、今日の大規模な応用に至るまで、機械翻訳技術の発展は 6 つの段階を経てきました。

起源段階:

機械翻訳は、1933 年にフランスのエンジニア GB アルチュニが機械翻訳の概念を提案し、翻訳機の特許を取得したときに始まりました。

つぼみ段階:

• 1954年、米国のジョージタウン大学はIBMと共同で、IBM-701コンピュータを使用した英語からロシア語への機械翻訳実験を完了し、機械翻訳研究の始まりを示しました。

サイレントステージ：

• アメリカ科学アカデミーは自動言語処理諮問委員会 (ALPAC) を設立し、1966 年に「言語と機械」と題する報告書を発表しました。この研究では機械翻訳の実現可能性が否定され、機械翻訳研究は低迷期に入りました。

回復フェーズ:

• 1976 年、モントリオール大学とカナダ連邦政府の翻訳局が共同で開発した TAUM-METEO システムは、機械翻訳の完全な復活を示しました。

開発段階:

• 1993年にIBMのブラウンらが単語のアライメントに基づく統計的翻訳モデルを提案し、コーパスベースの手法が普及し始めました。
• 2003年、エディンバラ大学のコーエンはフレーズ翻訳モデルを提案し、機械翻訳の効果を大幅に向上させ、産業応用を促進しました。
• 2005年にDavid Changはさらに階層的なフレーズモデルを提案し、構文木に基づく翻訳モデルの研究も大きく進歩しました。

繁栄段階:

• 2013 年と 2014 年に、オックスフォード大学、Google、モントリオール大学の研究者がエンドツーエンドのニューラル機械翻訳を提案し、ディープラーニング翻訳の新時代の幕開けとなりました。
• 2015年にモントリオール大学がAttentionメカニズムを導入し、ニューラル機械翻訳は実用段階に達しました。
• 2016年にはGoogle GNMTがリリースされ、iFlytekがNMTシステムを立ち上げ、ニューラル翻訳が大規模に利用されるようになりました。

03機械翻訳の技術的原理

機械翻訳の技術的原理について話す前に、機械翻訳技術の発展の歴史的な図を見てみましょう。

ルールベースの機械翻訳は 1980 年代に適用され始め、これが機械翻訳技術の第一世代となります。機械翻訳の応用分野がますます複雑になるにつれて、ルールベースの機械翻訳の限界が現れ始めます。応用シナリオが増えるほど、必要なルールが増え、ルール間の矛盾が徐々に現れます。

そのため、多くの研究者は、機械がデータベースから対応するルールを自動的に学習できるかどうかについて考え始めました。1993年にIBMは単語ベースの統計翻訳モデルを提案し、機械翻訳技術の第2世代の台頭を示しました。

2014年にGoogleとモントリオール大学が提案したエンドツーエンドのニューラル機械翻訳に基づく第3世代機械翻訳技術は、第3世代機械翻訳技術の到来を告げるものです。

機械翻訳技術の反復的な発展について読んだ後、ルールベース機械翻訳、統計的機械翻訳、ニューラル機械翻訳という 3 世代の機械翻訳のコア技術を見てみましょう。

ルール機械翻訳

ルールベースの機械翻訳には、大まかに3つの技術的なルートがあります。1つ目は直接翻訳方式で、ソース言語で単語を分割した後、ソース言語の各単語をターゲット言語の関連単語に翻訳し、それらを連結して翻訳結果を取得します。

ソース言語とターゲット言語は同じシステムではなく、構文の順序も大きく異なるため、それらを直接つなぎ合わせた翻訳結果は理想的ではないことがよくあります。

そこで研究者らは、言語学の関連知識を引用し、ソース言語の文章の構文分析を行う、2番目のルールベースの機械翻訳方法を提案した。構文言語学の関連知識が適用されたため、構築されたターゲット翻訳は比較的正確であった。

しかし、ここではまだ別の問題があります。この方法は、言語に強い規則性があり、機械がメソッド分析を実行できる場合にのみ有効です。

したがって、これに基づいて、一部の研究者は、人間の脳の翻訳を利用してルールベースの機械翻訳を実現できるかどうかを提案しています。

これには中間言語が関係します。まず、ソース言語が中間言語で記述され、次に中間言語の助けを借りてターゲット言語に翻訳されます。

しかし、言語の複雑さのため、中間言語の助けを借りてソース言語とターゲット言語の正確な記述を達成することは実際には困難です。

ルールベースの機械翻訳の 3 つの技術的ルートについて説明した後、図を使用してその利点と欠点をまとめてみましょう。

統計的機械翻訳

機械翻訳の第 2 世代の技術ルートは統計ベースの機械翻訳であり、その中核は翻訳プロセスをモデル化する確率モデルを設計することです。

例えば、xは元の文を表し、yはターゲット言語の文を表します。タスクは翻訳モデルを見つけることです。

θ 。

統計翻訳に適用された最も初期のモデルは、ソース チャネル モデルでした。このモデルでは、ソース言語テキスト x は、ターゲット言語テキスト y を何らかの奇妙な方法でエンコードすることによって取得されると想定されています。翻訳の目標は、y を x に復元することであり、これはデコード プロセスです。

したがって、翻訳目的関数はPr(𝑥│𝑦)を最適化するように設計できます。ベイズの公式により、Pr(𝑥│𝑦)をPr(𝑦)の言語モデルとPr⁡(𝑦|𝑥)の翻訳モデルの2つの項に分割できます。

この目的関数の両辺の対数を取ると、対数線形モデルが得られます。これは、エンジニアリングで実際に使用されるモデルでもあります。

対数線形モデルには、翻訳モデルと言語モデルだけでなく、並べ替えモデル、歪みモデル、単語数ペナルティモデルも含まれます。これらのモデルは、ソース言語からターゲット言語への翻訳を実現するために共同で制約されます。

統計的機械翻訳の関連知識を説明したので、フレーズベースの統計的翻訳モデルの 3 つの基本的なステップを見てみましょう。

1. ソースフレーズ分割: ソース言語の文を複数のフレーズに分割します
2. ソースフレーズ翻訳: 各ソースフレーズを翻訳する
3. ターゲットフレーズの並べ替え: ターゲットフレーズを特定の順序で文章に組み合わせます

最後に、統計的機械翻訳の利点と欠点を図でまとめます。

ニューラル機械翻訳

ルールベースの機械翻訳と統計ベースの機械翻訳について説明した後、エンドツーエンドのニューラル機械翻訳について見てみましょう。

ニューラル機械翻訳の基本的なモデリング フレームワークは、エンドツーエンドのシーケンス生成モデルです。これは、入力シーケンスを出力シーケンスに変換するためのフレームワークと方法です。

コアとなる部分は 2 つあります。1 つは入力シーケンスを表現する方法 (エンコード)、もう 1 つは出力シーケンスを取得する方法 (デコード) です。

機械翻訳にはエンコードとデコードだけでなく、並べ替えを支援するためのアテンション メカニズムという追加のメカニズムも導入されています。

RNN に基づくニューラル機械翻訳のプロセスを概略図で見てみましょう。

まず、単語分割によって入力ソース言語の単語シーケンスを取得します。次に、各単語を単語ベクトルで表して対応する単語ベクトルシーケンスを取得し、その後、順方向 RNN ニューラル ネットワークを使用して順方向エンコーディング表現を取得します。

次に、逆 RNN を使用して逆エンコーディング表現を取得し、最後に順方向と逆方向のエンコーディング表現を連結し、アテンション メカニズムを使用して、どの単語をどの時点で翻訳する必要があるかを予測します。継続的な予測と翻訳を通じて、ターゲット言語への翻訳を取得できます。

04機械翻訳の基本的な応用

機械翻訳の基本的な用途は、情報取得、情報公開、情報交換の 3 つのシナリオに分けられます。

情報を取得する目的での応用シナリオは、誰もがよく知っていることでしょう。たとえば、なじみのない単語に遭遇したとき、機械翻訳技術を使用してその真の意味を理解することができます。

情報を公開することが目的のシナリオでは、典型的なアプリケーションは支援翻訳です。

学部論文では要約を英語で書く必要があることを誰もが覚えておく必要があります。多くの学生は、Google 翻訳を使用して中国語の要約を英語の要約に翻訳し、その後、簡単な調整を行って最終的な英語の要約を作成します。実際、これは簡単な支援翻訳プロセスです。

3 番目のシナリオは、主に人々の間の言語コミュニケーションの問題を解決する情報交換を目的としたシナリオです。