Facebook のインタラクティブ ニューラル ネットワーク可視化システム ActiVis がニューラル ネットワークの「ブラック ボックス」を公開

これまで、多くのメディアがニューラルネットワークの「ブラックボックス」問題について熱く議論してきました。複雑なモデルは予測ワークロードでは優れたパフォーマンスを発揮しますが、システムが最終結果にどのように到達したかを振り返る場合、何が正しかったのか、何が間違っていたのか、またはモデルがどのように展開して結論に到達したのかを理解する明確な方法はありません。

[[188690]]

これは、旧式の機械学習モデルでは問題になりませんでしたが、非線形の潜在データ構造と無数のパラメータを持つ今日では問題となります。科学的アプリケーションにニューラル ネットワークを導入する研究者にとって、ブラック ボックスの再現性の欠如は検証の障壁となりますが、ディープラーニング フレームワークの実稼働ユーザーにとっては、ネットワークの動作に対する可視性の欠如が、特にモデルを最適化してパフォーマンス、効率、精度を向上させる場合にさらなる問題となります。

この問題を解決する一つの方法は、ニューラルネットワークモデルを視覚化することです。これはまさにソーシャルメディア大手のFacebookとジョージア工科大学の研究者が取り組んでいることです。 Facebook のディープラーニングの使用例は画像分析に限定されず、さまざまな種類のデータがモデルに取り込まれます。残念ながら、ニューラル ネットワークを視覚化するツールのほとんどは画像データセットに重点を置いています。このことがきっかけで、Facebook は、大規模なニューラル ネットワーク モデルと結果を説明するために使用できるインタラクティブな視覚化システムである ActiVis と呼ばれる Facebook の制作環境で使用されているツールを研究するようになりました。

ジョージア工科大学の研究チームは、1年以上前からFacebookのエンジニアと協力し、同社の分析プラットフォームと同社にとって有効な視覚化ツールの理解に努めてきた。このようなツールを開発する上での重大な技術的課題に加えて、Facebook の既存の機械学習プラットフォームに統合でき、「Facebook のような企業が自社の多くの製品やサービスに使用している多数のモデルやデータセットに一般化できるほど柔軟」でなければならなかった。

このプラットフォームは、いくつかの異なる機械学習要素で構成されています。中核となる要素は、さまざまな機械学習ワークフローを調整する役割を担う、Facebook の統合機械学習プラットフォーム「FBLearner Flow」です。 Flow の目標は、開発者がコードを書かずにモデルをトレーニングし、結果を表示できるようにすることです。

ActiVis は、複数のインスタンスとサブセットを視覚化して比較するための 2 つの解釈戦略をサポートしています。インスタンスベースとサブセットベースの検査を統合し、複雑なモデルの概要とローカル検査を緊密に統合し、業界規模のデータセットとモデルを幅広くサポートするように柔軟に拡張できます。Facebook のこのツールは、既存のモデルをデータに対して使用したいが、実装の詳細に立ち入りたくない人にとって非常に貴重です。 ActiVis は、ユーザー ベースの理由もあって、視覚化のために FBLearner Flow に特に重点を置いています。

「ActiVis は、ユーザーが指定したインスタンスまたはインスタンスのサブセットによってニューロンがどのように活性化されるかを視覚的に表示することで、モデルがどのように予測を導き出すかをユーザーが理解するのに役立ちます。ユーザーは、生データ属性、変換された機能、および出力結果を使用してサブセットを任意に定義できるため、複数の視点からモデルを調査できます。」

ジョージア工科大学のチームによると、大規模なこの種の視覚化システムを設計する人にとって、ニューラルネットワーク用の強固なプラットフォームを構築するにはいくつかの要素が関係する。彼らは、入力ソースとデータ形式の多様性、膨大なデータ量、複雑なモデルアーキテクチャなどについて言及しました。

「既存の多くのディープラーニング可視化ツールはインスタンスベースの探索をサポートしていますが、ActiVis はディープ ニューラル ネットワーク モデルのインスタンスベースとサブセットベースの両方の探索をサポートする初めてのツールです。さらに、ユーザーがモデルの概要を理解しやすいように、モデル アーキテクチャのグラフィカル表示を使用します。ユーザーはそこからドリルダウンして、各モデル レイヤーまたはノード レベルでニューロンの活性化のローカル検査を実行できます。」

チームによれば、視覚化ツールを使用したいFacebook開発者は、FBLearner Flowインターフェースでのトレーニング中に、視覚化を生成するために必要なデータをモデルに伝える数行のコードを追加するという。トレーニングが完了すると、インターフェイスには、モデルを視覚化して探索するためのこの Web ベースのツールへのリンクが提供されます。

「ActiVis は Facebook のさまざまなモデルやデータセットを処理できるように設計されています」とチームは述べています。「複雑なモデルや大規模なデータセットを扱うことが多いため、エンジニアがモデルに ActiVis を簡単に採用でき、ユーザーが分析タスクのためにモデルを視覚化して探索できるように、ActiVis が拡張可能で柔軟であることが重要です。」

***、ブラックボックス問題を解決するためにニューラル ネットワークを視覚化することは目新しいことではありませんが、ハードウェアとデータの増加によりモデルがより複雑になるにつれて、将来的にはこのようなツールの必要性が高まります。今後数年間で、主要なプラットフォーム (TensorFlow、Caffe など) に接続された同様の視覚化ツールがオープンソース化され、生産および科学計算のユースケースの両方で商用化される可能性もあると予想されます。