ベイジアンディープラーニング: ディープラーニングと確率的グラフィカルモデルを統合するフレームワーク

人工知能 (AI) の進歩により、多層のディープ ネットワークを構築し、大量のデータを学習に活用することで、大幅なパフォーマンスの向上が達成できることが示されました。しかし、これらの進歩は主に知覚タスクで起こったものであり、認知タスクでは従来の AI パラダイムを拡張する必要があります。

4月9日、ラトガース大学コンピューターサイエンス科助教授の王昊氏は、AI TIME Young Scientists - AI 2000 Scholars Forumで、ディープラーニングと確率的グラフィカルモデルを統合し、AIの認識と推論のタスクを統合できるベイズに基づく確率的フレームワークを共有した。

報告によると、このフレームワークには、確率的ディープモデルによって表されるディープモジュールと、確率的グラフモデルであるグラフモジュールの 2 つのモジュールがあります。ディープ モジュールは高次元信号を処理し、グラフ モジュールは部分的な推論タスクを処理します。

以下はスピーチの全文です。AI Technology Review では、原文の意味を変えずに編集しています。

今日は、ベイジアン ディープラーニングに関する私の研究についてお話ししたいと思います。トピックは、私たちが研究してきた確率的フレームワークです。私たちは、これを使用してディープラーニングと確率的グラフィカル モデルを統合し、AI の認識と推論のタスクを統合したいと考えています。

ご存知のとおり、ディープラーニングを活用した AI テクノロジーには、物体を認識できる視覚機能、テキストを理解できる読解機能、音声を認識できる聴覚機能がすでに備わっています。しかし、私にはまだ思考力が欠けています。

「思考」は推論や推測のタスクに対応し、具体的には条件付き確率関係や因果関係などの複雑な関係を処理できます。

ディープラーニングは知覚タスクの処理に適していますが、「思考」には意思決定のためのデータ分析や論理的推論などの高度な知能が関わってきます。確率グラフは、変数間の複雑な関係を自然に表現できるため、推論タスクの処理に利点があります。

上図は概要図の例です。課題は、スプリンクラーヘッドのオン/オフと外の天気から、外の芝生が濡れている可能性を推測するか、芝生の濡れ具合から天気を推測することです。確率グラフの欠点は、高次元データを効率的に処理できないことです。

まとめると、ディープラーニングは知覚タスクには優れていますが、推論や推測タスクには優れていません。確率的グラフィカルモデルは推論タスクには優れていますが、知覚タスクには優れていません。

残念ながら、現実の世界では、これら 2 種類のタスクは通常同時に発生し、相互に影響を及ぼします。したがって、私たちは、ディープラーニングの確率グラフを単一のフレームワークに統合し、両方の長所を活かすことを期待しています。

私たちが提案するフレームワークはベイズ深層学習です。モジュールは 2 つあります。確率的ディープ モデルによって表されるディープ モジュールと、確率的グラフ モデルであるグラフ モジュールです。ディープ モジュールは高次元信号を処理し、グラフ モジュールは部分的な推論タスクを処理します。

グラフ モジュールは本質的に確率モデルであるため、融合を確実に行うには、ディープ モデルも確率的である必要があることに注意してください。モデルは、MAP、MCMC、VI などの従来のアルゴリズムを使用してトレーニングできます。

具体的な例を挙げると、医療診断の分野では、ディープモジュールは医師が患者の医療画像を見ることを、イメージモジュールは医師が画像に基づいて脳内で病気について判断し推論することをイメージできます。医師の視点から見ると、医用画像における生理学的信号は推論の基礎であり、優れた能力は医用画像に対する理解を深めることができます。

さらに、映画推奨システムでは、ディープ モジュールは映画のビデオ プロット、俳優、その他のコンテンツを理解するものと考えられ、グラフ モジュールはユーザーの好みと映画の好みの類似性をモデル化する必要があります。さらに、ビデオ コンテンツの理解と「好み」のモデリングも補完的です。

モデルの詳細に関しては、確率グラフィカル モデルの変数を 3 つのカテゴリに分類します。ディープ変数はディープ モジュールに属し、比較的単純な確率分布から生成されると想定されます。グラフ変数はグラフ モジュールに属し、ディープ モジュールに直接接続されておらず、比較的複雑な分布から生成されると想定されます。ハブ変数は、ディープ モジュールとグラフ モジュール間の相互接続部分です。

以下では、実際のアプリケーションでフレームワークがどのように機能するかについて説明します。

推薦システム

推奨システムの基本的な前提は、特定の映画に対するユーザーの好みを把握し、他の映画に対するユーザーの好みを予測することです。

映画に対するユーザーの好みは評価マトリックスとして記述できますが、これは非常にスパースであり、直接モデリングに使用すると精度が非常に低くなります。推薦システムでは、映画のあらすじ、映画の監督、俳優の情報など、より多くの情報を補助モデリングに活用します。

コンテンツ情報をモデル化し、効果的に精製するためには、手動で特徴を確立する、ディープラーニングを使用して特徴を自動的に確立する、ディープラーニングを使用して適応的に特徴を確立する、という 3 つのオプションがあります。明らかに、適応型アプローチにより最良の結果を達成できます。

残念ながら、ディープラーニングに固有の独立かつ同一に分散しているという仮定は、推奨システムにとって致命的です。ユーザー間につながりがないと想定するのは明らかに間違いだからです。

上記の困難を解決するために、私たちは「独立」を「非独立」に拡張できる協調型ディープラーニングを導入しました。このモデルには 2 つの課題があります。

1. ディープモジュールとして効果的な確率的ディープモデルを見つける方法。このモデルはグラフ モジュールと互換性があり、非確率モジュールと同じ効果が得られることが期待されます。

2. 効果的なモデリングのためにディープ モジュールをメイン モジュールに接続する方法。

最初の課題を見てみましょう。オートエンコーダーは非常にシンプルなディープラーニング モデルであり、通常は教師なしで特徴を抽出するために使用され、中間層の出力はテキストの表現として使用されます。中間層の表現は確率的ではなく決定論的であり、グラフ モジュールと互換性がなく機能できないことに注意してください。

私たちは確率的オートエンコーダを提案します。違いは、出力が「決定されたベクトル」から「ガウス分布」に変換されることです。確率的オートエンコーダは標準オートエンコーダに退化することがあり、後者は前者の特殊なケースです。

深度モジュールをグラフモジュールに接続するにはどうすればよいですか?まず、ガウス分布からアイテム j の隠しベクトルを抽出します。

次に、ガウス分布からユーザー i の潜在ベクトルが抽出されます。

これら 2 つの潜在ベクトルに基づいて、別のガウス分布からユーザー i からアイテム j への分布をサンプリングできます。ガウス分布の平均は、2 つの潜在ベクトルの内積です。

上図の青いボックスはグラフ モジュールを表します。アイテム、ユーザー、評価などの間の条件付き確率関係を定義します。条件付き確率関係が確立されると、評価を通じてユーザーとアイテムの潜在ベクトルを推測でき、「内積」に基づいて未知の背景を予測できます。

上の図はモデル全体の図解です。λ はガウス分布の分散を制御するハイパーパラメータです。モデル効果を評価するために、citeulike-a、citeulike-t、Netflix の 3 つのデータセットを使用しました。 CiteUlike の場合は各論文のタイトルと概要が、Netflix の場合は映画のあらすじ説明がコンテンツ情報として使用されます。

実験結果を下の図に示します。Recall@M インジケーターは、私たちの方法がベースライン モデルを大幅に上回っていることを示しています。評価マトリックスがよりスパースになると、モデルのパフォーマンスがさらに向上します。その理由は、マトリックスが疎であるほど、モデルはコンテンツ情報とコンテンツから抽出された表現に大きく依存するようになるからです。

推奨システムのパフォーマンスを向上させることで、企業の利益を増やすことができます。マッキンゼーコンサルティングの調査によると、Amazon の売上高の 35% は推奨システムによって生み出されています。つまり、推奨システムが 1% 改善されるごとに、売上が 6 億 2,000 万ドル増加することになります。

まとめると、これまで、ベイジアンディープラーニングフレームワークのディープモジュールとして確率的ディープモデルを提案してきました。非確率的ディープモデルは、実際には確率的ディープモデルの特殊なケースです。ディープレコメンデーションシステム向けに階層型ベイジアンモデルが提案されています。実験により、このシステムによってレコメンデーションシステムの効率が大幅に向上することが示されています。

その他のアプリケーション設計

グラフが与えられれば、エッジがわかり、ノードの内容が理解できます。この画像がソーシャル ネットワークである場合、それは実際にはユーザー間の友情を表し、ノード コンテンツはソーシャル プラットフォーム上でユーザーが投稿した画像またはテキストです。この種のグラフ関係は、論文のタイトル、要約、引用などの間のつながりを表すこともできます。

私たちの仕事は、モデルがノードの表現を学習できるようにすること、つまりコンテンツ情報とグラフ情報の両方をキャプチャできるようにすることです。

解決策は、ベイジアン深層学習フレームワークに基づいてリレーショナル確率オートエンコーダを設計することです。ディープ モジュールは、各ノードのコンテンツの処理を特に担当します。結局のところ、ディープラーニングは高次元情報の処理に利点があり、グラフ モジュールは引用ネットワークやナレッジ グラフ内の複雑な関係など、ノード間の関係を処理します。

医療分野では、医療モニタリングに注力しています。タスクのシナリオは、自宅に信号を発する小型レーダーがあるというものです。設計されたモデルは、患者から反射された信号に基づいて、患者が時間通りに正しい順序で薬を服用しているかどうかを検出できることを期待しています。問題は、薬を服用する手順が非常に複雑で、順序を整理する必要があることです。

ベイジアン深層学習確率フレームワーク法に基づいて、深層モジュールを使用して非常に高次元の信号情報を処理し、グラフモジュールを使用して医療独自の知識をモデル化します。

異なるアプリケーションの同じモデルであっても、その中のパラメータには異なる学習方法があることに留意してください。たとえば、MAP 法とベイズ法を使用して、パラメータ分布を直接学習できます。

ディープニューラルネットワークの場合、パラメータ分布がわかれば、予測の不確実性を推定するなど、さまざまなことが可能になります。さらに、パラメータ分布が得られれば、データが不十分な場合でも非常に堅牢な予測が得られます。同時に、モデルはより強力になります。結局のところ、ベイズモデルは無数のモデルをサンプリングすることと同等です。

以下は、あらゆるディープラーニング モデルまたはディープ ニューラル ネットワークで使用できる軽量のベイズ学習方法です。

まず、モデルが直感的でありながら、バックプロパゲーションを通じて学習し、サンプリング プロセスを「破棄」できるほど効率的な方法を実現することが目標です。

私たちの重要なアイデアは、ニューラル ネットワークのニューロンとパラメータを、高次元空間内の単なる点やベクトルとしてではなく、分布として捉えることです。学習プロセス中にニューラル ネットワークが順方向伝播と逆方向伝播を実行できるようにします。分布が自然なパラメータによって表現されるため、この方法は NPN (自然パラメータネットワーク) と呼ばれます。​