マルチモーダルディープラーニング：ディープラーニングを用いてさまざまな情報を統合する

ディープラーニングを使用して、さまざまなソースからの情報を統合します。

マルチモーダルデータ

私たちの世界に対する経験はマルチモーダルです。つまり、私たちは物を見て、音を聞き、質感を感じ、香りを嗅ぎ、味を味わいます。モダリティとは、何かが起こる方法や経験される方法を指し、研究課題が複数のモダリティを包含する場合、それはマルチモーダルとして特徴付けられます。 AI が私たちの周囲の世界を理解する上で進歩を遂げるためには、これらのマルチモーダル信号を同時に解釈できる必要があります。

たとえば、画像はラベルやテキストによる説明と関連付けられることが多く、テキストには記事の中心的なアイデアをより明確に表現するための画像が含まれます。モードによって統計特性が大きく異なります。

マルチモーダルディープラーニング

異なるモダリティや情報タイプを組み合わせて効果を高めることは直感的には魅力的な作業ですが、実際には、異なるノイズレベルやモダリティ間の競合をどのように組み合わせるかが課題となります。さらに、モデルは予測結果に異なる定量的な影響を及ぼします。実際に最も一般的なアプローチは、異なる入力の高レベルの埋め込みを連結し、ソフトマックスを適用することです。

異なるタイプのニューラルネットワークを使用して特徴を抽出するマルチモーダルディープラーニングの例。

このアプローチの問題点は、すべてのサブネットワーク/パターンに同等の重要性を与えることですが、これは現実のシナリオではほとんど起こりません。

すべてのモードが予測に等しく貢献する

ネットワークの重み付け組み合わせ

各入力モダリティが出力予測に対して学習された貢献 (Theta) を行えるように、サブネットワークの加重組み合わせを採用しています。

最適化の問題は次のようになります。

各サブネットワークに Theta 重みを与えた後の損失関数。

サブネットワークに重みを付けた後の出力を予測します。

全部使ってください！

正確性と解釈可能性

私たちは、2 つの現実世界のマルチモーダルデータセットで SOTA を達成しました。

マルチモーダル感情強度コーパス (MOSI) データセット - 1 ミリ秒ごとに音声特徴が注釈付けされた 417 本の注釈付きビデオ。注釈付きのデータポイントは合計 2199 個あり、感情の強さは -3 から +3 までの線形スケールを使用して、非常に否定的から非常に肯定的まで定義されます。

モードには次のものがあります:

1. テキスト

2. オーディオ

3. 言語

各モダリティの感情予測への貢献

転写開始部位予測 (TSS) データセット - 転写は遺伝子発現の最初のステップであり、特定の DNA セグメントが RNA (mRNA) にコピーされます。転写開始部位は転写が始まる場所です。 DNA 断片のさまざまな部分には、その存在に影響を与えるさまざまな特性があります。 TSS は 3 つの部分に分かれています。