最近では機械翻訳で文章から絵を想像できる

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

さて、外国人が目の前に次のような文章を持っていると想像してください。「金と石は粉々に砕け散り、塵を払い落とし、岩山と曲がりくねった水はすべて開かれた。」

複雑な単語や長くて難しい文法を苦労して勉強する以外に、どうやってこの文章を理解できたでしょうか?

- 想像。

この詩に出てくる「金属と石」、「塵」、「山と川」という言葉のイメージを想像し、それらのイメージを特定の絵やシーンにまとめます。

[[406853]]

当時、ある研究者は次のようなアイデアを思いつきました。

人間は母国語ではない言語のテキストに基づいてイメージを想像し、より深い理解を得ることができるのではないでしょうか。

機械が入力テキストに基づいて画像を想像し、最終的により良い翻訳を実現することは可能でしょうか?

こうして、視覚的想像力によって導かれる機械翻訳モデルであるImagiTが誕生しました。

△NAACL2021に収録されました。

論文の著者は南洋理工大学とByteDanceの人工知能研究所の研究者です。

写真がなくてもビジュアルは使える

「視覚を活用する」と言えば、まず思い浮かぶのはマルチモーダル機械翻訳です。

純粋なテキスト機械翻訳と比較して、マルチモーダル機械翻訳では、音声や画像などのモーダル情報を活用して翻訳品質を向上させることができます。

△ マルチモーダル機械翻訳の入力: 原言語 + 注釈付き画像

しかし、マルチモーダル機械翻訳の品質は、データセットの可用性に直接関係しています。

つまり、注釈付き画像の量と品質は、モデル翻訳の有効性に大きく影響します。

しかし、手動で画像に注釈を付けるコストは低くありません...そのため、現在のマルチモーダル機械翻訳のほとんどは、30,000 枚の注釈付き画像を含むデータセットである Multi30K に適用されています。

新しく提案されたImagiT翻訳モデルについてはどうでしょうか?

推論フェーズでは入力としてラベル付けされた画像は必要ありませんが、代わりに想像力による視覚信号を使用して、トレーニングフェーズで視覚的なセマンティクスをモデルに埋め込みます。

△ マルチモーダル機械翻訳の入力: ソース言語

画像注釈がなくても視覚情報を活用することが可能です。

想像力に基づく翻訳モデルとはどのようなものですか?

これはエンドツーエンドの敵対的学習アーキテクチャです。

アーキテクチャの左端と右端には、おなじみのトランスフォーマー エンコーダーとデコーダーがあり、中央には、このフレームワーク独自の生成想像力ネットワークがあります。

この生成想像力ネットワークは、主に 2 つのコンバーターと注意層で構成されています。変換を行うときは、次のようになります。

1. F0によるソーステキスト入力

F0 には、1 つの完全接続層と 4 つのデコンボリューション層が含まれています。

GANの考え方に基づいて、文章の特徴とノイズが連結され、F0を通じて視覚的な表現に変換されます。

2. 単語レベルに焦点を当てる

注意レイヤーは、ソース テキスト内の関連する単語に焦点を当て、画像のさまざまなサブ領域の詳細な情報を生成し、画像の特徴のサブ領域を単語に対応させます。

その結果、より意味的に一貫性のある視覚表現が実現します。

3. 視覚的な表現はF1を通じて出力される

F1 には、2 つの完全接続層、1 つのデコンボリューション層、および 1 つの残差層が含まれます。

このコンバーターを通じて、マルチレベル（単語レベルおよび文レベル）のセマンティクスがキャプチャされ、生成された視覚的特徴 f1 が出力されます。

4. マルチモーダル集約

元のテキストモダリティと新しく合成された視覚的特徴を集約します。

5. 翻訳

このモデルの学習目標は、テキストから画像への生成と、画像のキャプション作成および翻訳という逆のタスクを組み合わせることです。

識別子は、ソース テキスト、生成された画像、実際の画像を入力として受け取り、合成画像が実際の画像と一致しているかどうかを評価します。

同時に、条件付き敵対的損失を使用して、合成画像がソース言語と同じセマンティクスを持つかどうかも評価します。

「脳サプリメント」は翻訳にどのように役立つのでしょうか?

研究者らは、ソース言語テキスト内の重要な単語を特殊文字に置き換える劣化戦略を使用し、モデルの翻訳パフォーマンスがどの程度低下するかを観察しました。

この場合、テキストのみの翻訳モデルでは、単語の文脈と偏りを失って、文の翻訳しか推測できません。

マルチモーダル機械翻訳では、注釈付きの画像を使用して翻訳を行います。

画像注釈がない場合でも、 ImagiT は劣化したテキストに基づいて失われた情報を想像し、回復することもできます。

この特別な探索的実験を通じて、ImagiT はトレーニング段階で特定の単語 (色、具体化できるエンティティ単語など) と他の単語との相関関係と共起を学習できることがわかります。

△ソース言語テキスト内のすべての色付きの単語を特殊文字に置き換えます。

置き換えたテキストを想像で復元する ImagiT モデルでは、プレーンテキスト翻訳と比較して、翻訳品質の低下が最も少なくなります。

パフォーマンスはどうですか?

ImagiT は入力として画像を必要としないため、テスト中はテキストのみのトランスフォーマー モデルがベースラインとして使用されます。

Multi30K の英語 - フランス語および英語 - ドイツ語 Test2016 および Test2017 でテストしたところ、ImagiT は SOTA マルチモーダル翻訳システムと同等のパフォーマンスを達成しました。

また、Ambiguous COCO でも良好なテスト結果を示しました。

論文の宛先:
出典: arxiv.org