AIテキスト翻訳システムの品質が44%向上し、500億以上のパラメータを使用して200の言語を翻訳

Meta Platforms は本日、Meta が社内開発した、200 言語のテキストを翻訳できる人工知能システムである NLLB-200 のシステム コードをオープンソース化しました。

Meta 社は、研究者が NLLB-200 をソフトウェア プロジェクトに簡単に適用できるように設計された一連のツールも発表しました。

Metaによれば、NLLB-200が理解できる200の言語の多くは、他のAI翻訳システムでは十分にサポートされていないとのこと。現在、最も広く使用されている翻訳ツールは 25 未満のアフリカ言語をサポートしていますが、NLLB-200 は最大 55 のアフリカ言語をサポートしています。

Meta 氏は、翻訳精度も NLLB-200 が他のツールより優れている点の 1 つであると述べました。 Meta は、機械翻訳されたテキストの品質を測定するために使用されるアルゴリズムである BLEU 評価システムを精度基準として使用します。 Meta は、NLLB-200 の BLEU スコアが以前の平均より 44% 高いと主張しています。

「私たちは、200種類の言語間で翻訳できる自社開発のAIモデルをオープンソース化したばかりです。その多くは、現在の翻訳システムではサポートされていません」とMetaのCEO、マーク・ザッカーバーグ氏は述べた。「私たちはこのプロジェクトを『No Language Left Behind（取り残された言語はない）』と呼んでいます。私たちが使用しているAIモデリング技術は、世界中の何十億もの人々が話す言語の高品質な翻訳を実現しています。」

NLLB-200 には、AI システムがデータを処理する方法を決定する構成である 500 億を超えるパラメーターがあります。 AI システムのパラメータが多ければ多いほど、その精度は高くなります。

NLLB-200 の多数のパラメータは、200 の言語を高精度でサポートできる唯一の要因ではありません。NLLB-200 システムは、Meta のエンジニアによって開発された他の多くの AI イノベーションも活用しています。

Meta は、社内で開発された LASER ツールキットを使用して機械学習関連の研究をサポートしています。このツールキットにより、研究者はニューラルネットワークをトレーニングして、ある言語で特定のタスクを実行し、比較的簡単に他の言語に適応させることができるため、翻訳に役立ちます。 Meta は、LASER の改良バージョンである LASER3 をサポートするために、新しい NLLB-200 システムを開発しました。

LASER のオリジナル バージョンには、テキストを AI システムが理解できる数学的表現に変換する特殊なコンポーネントである LSTM と呼ばれるニューラル ネットワークが含まれていました。この数学的表現は、より正確な翻訳結果を生成するのに役立ちます。 LASER3 では、Meta は LSTM ニューラル ネットワークを、同じタスクをより効率的に実行できる高度な自然言語処理モデルである Transformer に置き換えました。

Meta は、トレーニング データの収集に使用されるシステムのアップグレードや AI トレーニング ワークフローの変更など、他のいくつかの方法を使用して NLLB-200 の機能を改善しました。

Meta は、自社開発の Research SuperCluster スーパーコンピューター (写真) を使用して NLLB-200 をトレーニングしました。 Meta が 1 月に Research SuperCluster を初めて発表したとき、同社はこのシステムには 6,080 個の Nvidia の最新の A100 データセンター GPU が搭載されており、最終的には 16,000 個の GPU にアップグレードされると述べていました。

Meta は NLLB-200 を使用して Facebook、Instagram、その他のプラットフォームでより優れた自動翻訳機能を提供する予定であり、システムが 1 日あたり 250 億件以上の翻訳をサポートすることを期待しています。

Meta は社内で NLLB-200 の普及に努めるとともに、他の組織が独自のソフトウェア プロジェクトにこのシステムを適用できるよう支援する予定です。

Meta には、NLLB-200 に加えて、AI のトレーニングに使用できるオープンソース コードと、翻訳の精度を評価するための FLORES-200 と呼ばれるデータセットがあります。 Meta は、非営利団体が NLLB-200 を導入できるよう最大 20 万ドルの資金を提供します。さらに、Meta は Wikimedia Foundation と協力して、Wikipedia の記事に自動翻訳技術を適用します。