信頼できる GNN を構築するにはどうすればよいでしょうか?最新のレビューはコチラ！信頼できるグラフニューラルネットワーク: 次元、方法、傾向

序文

ここ数年、ニューラルネットワークを中心とした人工知能技術は、さまざまな種類のデータを深く掘り下げることで、人間の生活を大きく変え、社会の発展の進歩を大きく促進してきました[1]。グラフニューラルネットワーク（GNN）は、人工知能分野で最も活発な研究方向の一つであり、その優れた性能からパーソナライズされた推奨など日常生活で広く利用されているほか、新型コロナウイルス治療薬の開発など最先端の科学分野でも活用されています。グラフ ニューラル ネットワーク技術の急速な発展に伴い、タスク パフォーマンスを唯一の設計目標とするグラフ ニューラル ネットワーク システムには、悪意のある攻撃に対する脆弱性などの問題が依然として存在することがわかりました。そのため、信頼性の高いグラフ ニューラル ネットワークを構築したいという意欲が高まっています。

近年、信頼できる人工知能システムの構築は世界各国の共通認識となっている[2][3]。信頼できるグラフニューラルネットワークをいかに総合的に構築するかが、緊急に解決しなければならない大きな課題となっている。この論文は、モナッシュ大学チーム (Shirui Pan、Xingliang Yuan、Bang Wu、He Zhang) が Hanghang Tong (UIUC) および Jian Pei (SFU、デューク大学に入学予定) と共同で作成した、信頼できるグラフ ニューラル ネットワークの最新のレビューです (36 ページの 2 列構成、299 件の論文)。

このレビューでは、研究の背景と特徴から始めて、「信頼できる GNN」の 6 つの側面 (堅牢性、説明可能性、プライバシー、公平性、説明責任、環境福祉) とその技術的方法に焦点を当て、信頼できるグラフ ニューラル ネットワークのオープン フレームワークを提案します。同時に、このレビューでは、さまざまな信頼の次元間の相互作用的な関係を調査し、信頼できるグラフ ニューラル ネットワークの将来の研究方向を提案し、信頼できるグラフ ニューラル ネットワークを確立するための詳細で包括的な技術ロードマップを描きます。

レビュータイトル: 信頼できるグラフニューラルネットワーク: 側面、方法、傾向

全文リンク: https://arxiv.org/pdf/2205.07424.pdf

Github: https://github.com/Radical3-HeZhang/Awesome-Trustworthy-GNNs

1 はじめに

グラフは、非常に強力な表現能力を持つデータ型として、エンティティの特性を記述したり、エンティティ間の関係を描写したりすることで、生物学、化学、物理学、言語学、社会科学などの多くの分野でデータを記述するために広く使用されてきました。近年、グラフニューラルネットワーク技術の活発な発展により、さまざまなグラフコンピューティングタスクのパフォーマンスに革命が起こり、実生活での広範な応用が促進されました。

日常生活において、グラフニューラルネットワークは、ユーザーとユーザー/サービスコンテンツ間のインタラクティブな関係を考慮して、情報ストリーミング、オンラインショッピング、ソーシャルソフトウェアなどの消費者向けアプリケーションでユーザーにパーソナライズされた検索および推奨サービスを提供できます。科学の最前線では、グラフデータを使用して複雑なシステムを表現することにより、研究者はグラフニューラルネットワークを使用して天体の動きの背後にある隠れた法則を発見することができます。グラフニューラルネットワークは、フェイクニュースの検出やCOVID-19治療薬の開発に応用することで、私たちの社会的幸福を大きく向上させました。

研究者は、さまざまな観点からグラフ ニューラル ネットワークのパフォーマンスをさらに向上させる方法 (自己教師あり学習、モデルの深さの改善など) を設計してきましたが、いくつかの重要な領域では、タスクのパフォーマンスがグラフ ニューラル ネットワークを設計する唯一の目標ではありません。たとえば、グラフ ニューラル ネットワークに基づく異常検出システムは悪意のある攻撃に対して堅牢である必要があり、グラフ ニューラル ネットワークに基づく信用スコアリング システムは年齢や性別などの要因によりユーザーのローン申請を拒否してはなりません。また、グラフ ニューラル ネットワークに基づく医薬品発見アプリケーションは研究者にその結果の包括的な説明を提供する必要があります。

上記のニーズに基づいて、グラフ ニューラル ネットワーク システムの信頼性に対する関心が高まっています。このような状況において、本レビューは、「信頼できる GNN」の最新の進捗状況をまとめ、関連する研究者や実務者に技術ロードマップを提供し、信頼できる GNN の将来の研究と産業開発の方向性を示すことを目的としています。

このレビューの主な貢献は、1) 多くの信頼次元を含むオープンフレームワークを備えた信頼できるグラフニューラルネットワークについて説明し、信頼研究におけるグラフニューラルネットワークと他の一般的な人工知能技術 (CNN など) との一般的な違いを提案していること、2) グラフニューラルネットワークのさまざまな信頼次元に対する既存の方法を包括的にまとめていること、3) さまざまな信頼次元間の関係が信頼できるグラフニューラルネットワークシステムの構築に不可欠であることを提案し、方法論レベルと有効性レベルの両方から既存の研究作業を要約していること、4) 信頼できるグラフニューラルネットワークの概念を全体として考慮することにより、潜在的な将来の研究方向を提案していることです。

2 グラフニューラルネットワークと信頼

読者の理解を容易にするために、この記事ではまず以下の中核となる概念を紹介します。

グラフ データ: グラフは通常、ノードのセットとエッジのセットで構成されます。このグラフのノード数は であり、ノード間のエッジ数は です。グラフが与えられた場合、対応するトポロジ構造は、ノード間の接続関係を表す隣接行列によって表すことができます。つまり、ノードとが互いに接続されている場合は 、そうでない場合は です。グラフ内のノードに属性がある場合、特徴マトリックスを使用してこれらの属性情報を記述できます。したがって、グラフは として表すこともできます。

グラフ ニューラル ネットワーク (GNN): グラフ ニューラル ネットワークは、グラフ データ (ノード分類、リンク予測、グラフ分類など) のタスクの計算に使用できる一連のニューラル ネットワークの総称です。グラフ ニューラル ネットワークにおける典型的な計算ステップはメッセージの受け渡しです。メッセージ伝播プロセス中に、グラフ ニューラル ネットワークは、すべての隣接ノードの情報を集約して、現在のノードの表現を更新します。他の操作（非線形励起など）との組み合わせに基づいて、複数の表現更新反復の後、グラフニューラルネットワークは対応するデータ表現を計算できます。

信頼性: 信頼性は、システムが信頼できることを表すために使用されます。これは、信頼者と受託者の間の信頼関係を表します。信頼できるグラフ ニューラル ネットワークのコンテキストでは、受託者はグラフ ニューラル ネットワーク システムであり、信頼者はユーザー、開発者、規制当局、さらには社会全体である可能性があります。

信頼できる GNN は、信頼性と優れたパフォーマンスのバランスが取れた GNN として定義されます。これらの信頼できる側面には、GNN の堅牢性、解釈可能性、プライバシー、公平性、責任、および健全性が含まれますが、これらに限定されません。元の定義は次のとおりです。「この調査では、信頼できる GNN を、堅牢性、説明可能性、プライバシー、公平性、説明責任、幸福、および GNN のコンテキストにおけるその他の信頼指向の特性を含む信頼性の中核的な側面を組み込んだ有能な GNN と定義します。」

3 概要フレームワーク

このレビューの第 1 章では、主に研究の背景、信頼できるグラフ ニューラル ネットワークの定義、さまざまな信頼次元の定義、測定と研究の違い、既存のレビューとの関係、およびその主な貢献について説明します。第 2 章では、グラフ ニューラル ネットワークの基本的な概念と計算タスクについて説明します。第3章から第8章では、堅牢性、説明可能性、プライバシー、公平性、説明責任、環境の健全性の6つの側面から代表的な技術的手法を紹介・要約し、今後の研究の方向性について議論します。第 9 章では、方法と有効性の両方の観点から、上記の 6 つの信頼性の次元間の複雑な関係をまとめています。最後に、レビューの第 10 章では、信頼できるグラフ ニューラル ネットワーク全体を概観し、信頼できるグラフ ニューラル ネットワーク システムの包括的な構築に向けた将来の研究と産業化の 5 つの方向性を提案します。

4 堅牢性

堅牢性とは、グラフ ニューラル ネットワークが干渉に直面しても安定した予測結果を維持する能力を指します。グラフ ニューラル ネットワークの予測結果は、さまざまな外乱 (特にグラフ ニューラル ネットワークに対するさまざまな攻撃) の影響を受ける可能性があります。これは、銀行や金融システムにおける不正検出、自動運転システムにおける交通予測や計画など、個人や財産の安全に関わるシナリオでのグラフニューラルネットワークの応用に重大な課題をもたらします。したがって、堅牢性に関する研究は、信頼できるグラフニューラルネットワークにおいて不可欠な鍵となります。

このレビューでは、グラフ ニューラル ネットワークの堅牢性に関する現在の研究を要約し、敵対的攻撃と防御の分類、およびいくつかの一般的な手法を紹介します。敵対的攻撃の分類は、下の図に示すように、脅威モデルの分析から導き出されます。一方、防御の分類は、テクノロジの特定の実行フェーズ (ターゲット フェーズ) に基づいています。

さまざまなカテゴリーの手法を紹介する際に、著者らは、それらの特性が CNN などの他の一般的な人工技術で使用される特性とどのように異なるかについて説明します。たとえば、特定の撹乱操作や攻撃目標に応じて、異なる分類や名前の変更が行われます。

さらに、著者らはこれらの攻撃および防御方法の適用可能性について議論し、要約しています。たとえば、著者は、適用段階、モジュール性、展開の互換性という 3 つの観点から、さまざまな種類の防御方法を比較し、分析しました。

最後に、現在の現状に基づいて、このレビューでは、標準化された堅牢性評価の開発と既存の防御方法のスケーラビリティの向上という 2 つの将来の研究方向を提案しています。

5 説明可能性

解釈可能性とは、グラフ ニューラル ネットワークの予測を人間が理解できるようにする能力を指します。予測結果が人間に理解できない場合、人々はグラフニューラルネットワークを信頼しないでしょう。信頼が欠如していると、公平性（信用リスク予測など）、情報セキュリティ（チップ設計など）、生命の安全（自動運転など）に関わるシナリオでの適用がさらに制限されます。したがって、信頼できるグラフ ニューラル ネットワーク システムは、予測に対する説明を提供する必要があります。

このレビューでは、説明形式や説明方法のカテゴリなどの基本概念を紹介した後、グラフ ニューラル ネットワークの解釈可能性に関連する作業を、自己説明型 (解釈可能な GNN) と事後説明型の 2 つのカテゴリに分類します。解釈可能な GNN には、主に貢献度の推定、解釈可能なモジュールの導入、プロトタイプ学習の埋め込み、根拠生成方法が含まれます。事後説明には、主に勾配/特徴ベースの方法、摂動ベースの方法、代理方法、分解方法、生成方法、その他の方法が含まれます。

このレビューでは、代表的な方法の原理を紹介した後、次の表に示すように、これらの方法を包括的に比較します。

さらに、このレビューでは、解釈可能性と説明可能性、説明を提供するために必要な背景知識（ホワイト/グレー/ブラックボックスの知識）、説明を得るための推論の根拠、およびその他の制限という 4 つの側面から現在の作業を要約しています。最後に、このレビューでは、厳密にモデルに依存しない方法と実際のアプリケーションに対する評価ベンチマークを確立することが、グラフ ニューラル ネットワークの解釈可能性に関する 2 つの将来の研究方向であると提案しています。

6 プライバシー

プライバシーも、信頼できるグラフ ニューラル ネットワークを構築するときに無視できない信頼できる要素です。信頼できるグラフ ニューラル ネットワーク システムを構築および維持するプロセスでは、モデル自体やグラフ データなどの機密情報や個人情報が漏洩するリスクがあります。したがって、このレビューでは、まずプライバシーデータ漏洩に関連する現在の研究を要約し、次にさまざまなプライバシー保護方法を紹介します。

プライバシー漏洩の問題に対応して、このレビューでは、プライバシー攻撃の現在の脅威モデルから始め、まず潜在的な脅威の対象と機能を紹介し、次にモデル抽出攻撃、メンバーシップ推論攻撃、モデル反転攻撃という 3 つの一般的なプライバシー攻撃と、他のシナリオにおける潜在的なプライバシー漏洩リスクを紹介します。

その後、このレビューでは、グラフ ニューラル ネットワーク シナリオにおける 4 つのプライバシー保護テクノロジ (フェデレーテッド ラーニング、差分プライバシー、耐性トレーニング、セキュリティ計算) を紹介しました。さらに、上記の技術を分類して紹介した後、著者はそれらの具体的な応用シナリオと、プライバシー保護の終了によってもたらされるプライバシー保護、モデルの精度、実装効率の間のトレードオフについても説明しました。

この章の最後では、研究の現状について、著者は、勾配情報からの漏洩の隠れた危険性とプライバシー攻撃に対する防御に関する現在の研究はまだ不完全であり、将来的にさらなる注意と調査が必要であると考えています。

7 公平性

公正なシステムは、弱い立場にあるグループや個人の重大な利益を保護することで人々の信頼を獲得することができます。公平なグラフ ニューラル ネットワーク システムとは、その予測結果が特定のグループまたは個人に対する偏見を排除することを意味します。現在、グラフ ニューラル ネットワークは主にデータ駆動型の方法でグラフ コンピューティング タスクを完了します。ただし、グラフ ニューラル ネットワークのメッセージ伝播メカニズムにより、データ内にすでに存在するバイアスがさらに増幅される可能性があります。その後、個人の好みや行動バイアスなどの要因により、グラフニューラルネットワークサービスとやりとりする際に、グラフデータのバイアスがさらに深まることになります。

このレビューでは、公平性の定義 (グループ公平性、個別公平性、反事実的公平性) や使用段階 (前処理、中処理、後処理) などの基本概念を紹介した後、グラフ ニューラル ネットワークにおける公平性の研究に現在使用されている方法を、公平な表現学習法と公平な予測強化法に分類します。これらの方法の基本原理を紹介した後、次の表に示すように、これらの方法の包括的な比較が行われます。

最後に、このレビューでは、公平性の定義と評価、タスクのパフォーマンスへの影響、不公平性の解明を探求することが、グラフニューラルネットワークの公平性に関する今後の研究で重点的に取り組む必要がある研究方向であると提案しています。

8. 説明責任

アプリケーション シナリオの拡大とシステム構造の複雑化が進むにつれ、個人、企業、政府機関は、信頼できるグラフ ニューラル ネットワークにおける効果的な説明責任に対する要求を高めています。近年、中国、米国、欧州の企業や政府機関は、人工知能の説明責任の枠組みを構築する方法について独自の計画やガイドラインを提示している。上記に基づいて、このレビューでは、グラフ ニューラル ネットワークの説明責任フレームワークの 3 つの要件をまとめています。

（１）グラフニューラルネットワークシステムの開発・運用サイクル全体にわたって、合理的な評価・認証プロセスを設計し、それに伴うべきである。

（２）開発・運用プロセスの監査可能性を確保する必要がある。

（３）システムにおける人間の介入（調整）、是正（改善）その他の措置を容易にし、不適切な行為を処罰するために、適切な調整およびフィードバックの仕組みを確立する必要がある。

次に、このレビューでは、信頼できるグラフ ニューラル ネットワーク システムで説明責任フレームワークを構築するために使用できる 2 つの主要なカテゴリ、ベンチマークとセキュリティ評価について説明します。

このレビューでは、グラフ ニューラル ネットワークのさまざまな開発段階 (アーキテクチャ設計、モデル トレーニング、モデル検証) に応じたベンチマーク分析の研究を紹介します。セキュリティ評価に関しては、主に整合性検証に関する関連研究を紹介し、異なる検証対象に応じたデータ整合性と手順整合性の検証を紹介しました。

最後に、このレビューでは、信頼できるグラフ ニューラル ネットワークの説明責任に関する 3 つの研究方向を提案します。まず、より多くの異なる性質の違反の検出（違反検出）を提供します。次に、プロセス全体のプログラム整合性検出とすべてのコンポーネントのデータ整合性検出をカバーします。最後に、システムの監査可能性を継続的に向上させ、より多くの調整とフィードバックのメカニズムを確立します。

9 環境の健全性

信頼できるグラフ ニューラル ネットワークは、展開される環境の社会的価値観と一致している必要があります。現在、地球温暖化は人類社会が早急に解決しなければならない大きな環境問題です。カーボンニュートラルという野心的な目標を達成するには、あらゆる分野の共同の努力が必要です。グラフ ニューラル ネットワーク システムの環境への影響を軽減するために、ジュールあたりのノード数などの関連メトリックを紹介した後、このレビューでは、グラフ ニューラル ネットワークの効率を向上させるさまざまな方法をまとめます。

（１）スケーラブルなグラフニューラルネットワークと効率的なデータ通信：グラフデータの爆発的な増加に伴い、大規模なデータセットはグラフニューラルネットワークの効率的な運用に課題をもたらしています。この課題に対処するために、現在のテクノロジには主に、サンプリング方法、スケーラブルなアーキテクチャ、産業用アプリケーション、効率的なデータ通信などが含まれます。

（２）モデル圧縮技術：技術の発展に伴い、研究者はパフォーマンスを向上させるために、より深く複雑なグラフニューラルネットワークモデルを提案してきました。ただし、これらのモデルの規模により、コンピューティング リソースが限られたエッジ コンピューティング デバイスへの展開が制限されます。したがって、モデル圧縮技術はこの課題に対処する効果的な方法です。関連するテクノロジには、知識の蒸留、モデルのプルーニング、パラメータ サイズの削減、モデルの量子化などがあります。

（３）フレームワークとアクセラレータの開発：グラフデータの不規則性、モデル内の疎な計算と密な計算の交互、モデルとアプリケーションの多様性により、グラフニューラルネットワークシステムは、効率を向上させるために特別に設計されたフレームワークとアクセラレータを使用する必要があります。この問題を解決するための現在の方法には、主にソフトウェア フレームワーク (SW フレームワーク)、ハードウェア アクセラレータ (HW アクセラレータ)、効率ボトルネックの分析、ソフトウェアとハ​​ードウェアの共同設計 (SW-HW 共同設計) が含まれます。

最後に、このレビューでは、効率的な GNN の探索と GNN のアクセラレータの研究が、GNN 環境の健全性を促進するための 2 つの将来の研究方向であると提案しています。

10 信頼できるさまざまな側面の関係

グラフニューラルネットワークの信頼性を高めるための現在の研究は、主に上記の 6 つの次元の 1 つに焦点を当てています。このレビューでは、信頼性の高いグラフニューラルネットワークを構築する際には、6 つの信頼性次元間の関係を無視することはできないと提案し、次の 2 つの観点からこれを要約します。

1) 信頼できる GNN の 1 つの側面からの手法が、他の側面の目的に対処するためにどのように適応されるか。

2) 信頼できる GNN の 1 つの側面を推進すると、他の側面が促進または阻害される理由。

11 今後の研究の方向性

このレビューでは、潜在的な研究のホットスポットに焦点を当て、信頼できるグラフ ニューラル ネットワーク全体を検討し、現在の方法の限界を分析します。現在の研究のギャップを埋め、信頼できるグラフニューラルネットワークの産業化を促進するために、このレビューでは次の 5 つの研究方向を提案しています。

A. 信頼できるGNNへの移行

信頼できるグラフ ニューラル ネットワークを構築するには、研究者とグラフ ニューラル ネットワークの実践者が信頼の概念を完全に受け入れる必要があります。グラフ ニューラル ネットワークを設計するときは、タスクのパフォーマンスを考慮するだけでなく、グラフ ニューラル ネットワークの設計哲学に信頼の概念を導入する必要があります。既存の研究の中には、説明可能性と公平性の両方を設計に考慮した研究もあり、グラフニューラルネットワークの信頼性が大幅に向上しています。さらに、特定のアプリケーションにおけるさまざまな信頼の次元（自動運転における堅牢性と環境の健全性など）間のバランスとトレードオフなど、信頼できるグラフニューラルネットワークに移行する過程で直面する一連の未解決の問題を解決することも、挑戦的な研究方向です。

B. 信頼できるGNNの他の側面を探る

信頼できるグラフ ニューラル ネットワークは、実際には、このレビューで紹介した 6 つの次元よりも多くの次元を網羅しています。たとえば、一般化も信頼できるシステムの重要な側面であると考えられています。いくつかの最近の研究では、グラフ ニューラル ネットワークの外挿とそれらが使用する活性化関数との関係を調査しました。これらの研究は、信頼の意味合いを豊かにし、信頼できるグラフ ニューラル ネットワークの構築を促進しました。さらに、このレビューでは、信頼できるシステムに関連する設計原則（国家新世代人工知能ガバナンス専門委員会が発行した「新世代人工知能ガバナンス原則 - 責任ある人工知能の開発」など）を適切に処理することも、信頼できるグラフニューラルネットワークの将来の開発における重要な研究課題であると示唆しています。

C. 多様な関係を研究する

このレビューは、信頼できるグラフ ニューラル ネットワークのさまざまな次元間の複雑な関係の表面を少し触れただけです。説明可能性や公平性などの他の相互関係を調査することは、信頼できるグラフ ニューラル ネットワーク システムを完全に理解して構築するために重要です。さらに、これらの関係は複雑であるだけでなく、複数のレベルで存在します。たとえば、反事実的公平性は堅牢性と概念的に類似しています。したがって、概念、方法、有効性などのさまざまなレベルから信頼できるグラフニューラルネットワークのさまざまな次元間の関係を調査することも有望な研究方向です。

D. モデルに依存しない手法の設計

現在、グラフ ニューラル ネットワークの信頼性を向上させる多くの方法では、特別に設計されたグラフ ニューラル ネットワーク アーキテクチャを使用する必要があります。これらの方法は、ターゲット ネットワーク インフラストラクチャにアクセスできない、または変更できない場合 (クラウド サービスを使用するなど) には機能しません。これにより、現実世界のシナリオにおけるこれらの信頼性向上方法の実用性が大幅に低下します。対照的に、モデルに依存しない方法は、プラグアンドプレイ方式でグラフニューラルネットワークシステムに柔軟に適用できます。さらに、このような方法を組み合わせて機能モジュールの形で使用することもできます。したがって、モデルに依存しない方法を設計すると、その実用性が大幅に向上し、信頼できるグラフニューラルネットワークの構築が容易になります。

E. 信頼できるGNNのための技術エコシステムの構築

急成長している分野として、信頼できるグラフ ニューラル ネットワークの開発は、テクノロジー エコシステムのサポートから切り離すことはできません。ここでのテクノロジー エコシステムには、ツール、データセット、評価メトリック、評価パイプラインなどが含まれますが、これらに限定されません。グラフデータの特性上、IBM の AI360 などの現在のツールキットの一部は、グラフニューラルネットワークの評価に直接使用できない場合があります。たとえば、ノード間にエッジが存在すると、ノードに対する独立かつ同一に分散している (IID) という仮定が破られ、グラフ ニューラル ネットワークの公平性を研究する際にノード間の相互依存性を考慮する必要が生じます。さらに、アプリケーション シナリオの多様性により、信頼できるグラフ ニューラル ネットワークを構築するには、さまざまなタスクやシナリオに適したデータ セット、メトリック、評価基準、ソフトウェア プラットフォームなどの技術設備のサポートも必要です。したがって、対応する技術エコシステムを確立することは、信頼できるグラフニューラルネットワークの研究と産業化における重要なステップです。​