連合転移学習の最新の進歩: 計算と転送はモデルのパフォーマンスをどのように「制限」するのでしょうか?

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

人工知能システムは大量のデータに依存していますが、データフロープロセスと人工知能モデル自体が機密性の高いプライバシーデータを漏洩する可能性があります。

たとえば、データ フローのどの段階でも、悪意のある攻撃者が匿名のデータ セットに対して攻撃を仕掛けてデータを盗む可能性があります。

たとえば、データリリースフェーズでは、悪意のある攻撃者が ID 再識別を使用して匿名データセットを攻撃し、個人情報を盗む可能性があります。

学術界では、上記のプライバシー漏洩問題に対処するために、さまざまな対象を絞った保護方法が提案されています。差分プライバシーと準同型暗号化に基づくフェデレーテッド ラーニングは、一般的なプライバシー保護方法です。

フェデレーテッド ラーニングは 2015 年に提案されました。プライバシー情報を保護するために、ユーザーデータを公開することなく、マルチパーティの機械学習モデルをトレーニングできます。

しかし、Google が提案するフェデレーテッド ラーニングでは、データセットの特徴空間の一貫性を保証するだけでなく、モデルの精度に影響を与えるノイズも導入する必要があります。また、一部の機密情報が送信されるなどの問題もあります。これらの欠点により、フェデレーテッド ラーニングの実際の生産への応用の見通しは制限されています。

2018年に連合転移学習の理論が提案されました。この理論では、トレーニングに使用される複数のデータセットは、特徴空間の一貫性を保証する必要はありません。さらに、この理論では、差分プライバシーの代わりに準同型暗号化を使用してプライベートデータを保護します。これらの改善により、金融や医療などのシナリオにおけるフェデレーテッド ラーニングの適用が大幅に促進されました。しかし、連合転移学習では、実際の使用において重大なパフォーマンス上の欠陥が明らかになりました。

この問題に対処するため、香港科技大学、Clustar、Pengcheng Laboratory の研究者が共同で「Federated Transfer Learning のパフォーマンスの定量化」を発表しました。この論文では、連合転移学習フレームワークを研究し、実際のアプリケーションで連合学習が直面するパフォーマンス上の課題を提案し、対応する最適化ソリューションを提供します。

論文著者: Jingqinghe、Wang Weiyan、Zhang Junxue、Tian Han、Chen Kai

編集者: Cheng Xiaodian (Clustar ソフトウェア エンジニア)

論文: https://arxiv.org/abs/1912.12795

パフォーマンス上の課題には主に次のようなものがあります。

1. 連合転移学習のパフォーマンスのボトルネックは、主にコンピューティングと伝送に起因します。

2. プロセス間通信とメモリコピーは、現在の連合転移学習実装における主なパフォーマンスのボトルネックです。

3. 異なる参加者は遠く離れた 2 つのサイトに配置されていることが多く、データは高遅延の広域ネットワークを介してのみ送信できるため、分散型機械学習よりも時間の消費量が大幅に長くなります。

1.連合転移学習の紹介

フェデレーテッドラーニング理論はクエリプライバシーに基づいてデータを保護し、複数のデータ保有者が元のデータを残さずに共同モデルトレーニングを実装できます。しかし、元の連合学習システムでは、データ特徴空間は参加者間でまったく同じである必要があります。例えば、A社が保有するデータにユーザーの性別、年齢、年収などの情報が含まれている場合、A社とフェデレーテッドラーニングを行うには、B社のデータにもこれらの情報が含まれている必要があります。さらに、このシステムには、モデルの精度に影響を与えるノイズや、一部の機密情報の送信などの問題がまだ残っており、実際の生産における連合学習の応用の見通しが制限されています。

この一連の制限を取り除くために、2018 年に Federated Transfer Learning が提案されました。この理論では、トレーニングに使用される複数のデータセットは、特徴空間の一貫性を保証する必要はありません。さらに、この理論では、差分プライバシーの代わりに準同型暗号化を使用してプライベートデータを保護します。これらの改善により、金融や医療などのシナリオにおけるフェデレーテッド ラーニングの適用が大幅に促進されました。しかし、連合転移学習は、実際の使用において深刻なパフォーマンスの問題を抱えています。

フェデレーテッド転移学習の一般的なワークフローを図 1 に示します。このワークフローには、ゲスト、ホスト、アービターの 3 つの異なる参加者が必要です。ゲストとホストはデータ保持者であり、主要な数値計算と暗号化作業も担当します。アービターは計算開始前にキーを生成し、ホストとゲストに送信します。さらに、アービターはトレーニング中の勾配集約と収束チェックも担当します。ホストとゲストが保持するデータのサンプルは異なるが特徴は同じである場合、この連合転送学習は同種または水平と呼ばれます。一方、双方のデータ セットのサンプルは同じだが特徴が異なる場合、この連合転送学習は異種または垂直と呼ばれます。

トレーニングプロセス中、ホストとゲストは最初にローカルデータを使用して予備計算を実行し、計算結果を暗号化します。これらの中間結果は、勾配と損失の計算に使用できます。次に、両者は暗号化結果を集約のためにアービターに送信します。アービターは暗号文を復号化し、ホストとゲストに返します。両者は受信した値を使用してローカル モデルを更新します。フェデレーション転移学習では、モデルが収束するまでこのトレーニング プロセスを繰り返す必要があります。

図1: フェデレーテッド転移学習ワークフロー

2.連合転移学習のパフォーマンス分析

フェデレーテッド転移学習のワークフローを見ると、いくつかの点で分散機械学習と非常に似ていることがわかります。どちらも異なるデータを保持する複数の作業ノードを含み、集約された結果に基づいてモデルを更新します。しかし、2 つのシステムの間には明らかな違いがあります。分散型機械学習では、パラメータ サーバーは中央のスケジューリング ノードであり、データと計算をさまざまな作業ノードに割り当ててトレーニング パフォーマンスを最適化する役割を担っています。一方、連合転送学習では、さまざまなデータ ホルダーが独自の作業ノードとデータを完全に独立して管理します。さらに、連合転送学習で使用される準同型暗号化により、コンピューティングとデータ転送時間が大幅に増加します。

したがって、分散機械学習と比較して、連合転移学習はより複雑なシステムであり、分散機械学習のパフォーマンスは連合転移学習のパフォーマンスを測定するのに適した指標とも考えられます。近年、分散機械学習ソリューションの設計とパフォーマンスの最適化に関する研究は非常に盛んになっていますが、連合転移学習について触れた人はほとんどいません。分散機械学習と連合転移学習間のパフォーマンスギャップを定量化することで、連合転移学習のパフォーマンス最適化のための刺激的な参考資料と価値が得られます。

図 2 は、同じデータセットを使用して同じモデルをトレーニングする場合の分散機械学習と連合転移学習のパフォーマンス比較を示しています。図(a)は、モデルトレーニングのエンドツーエンドのパフォーマンス比較を示しています。テスト結果によると、2つのシステム間の実行時間の差は18倍以上です。分散機械学習の経験によると、システム操作において最も多くの時間を占める部分は、多くの場合、コンピューティングとデータ転送です。そのため、図 (b) と (c) は、それぞれ 2 つのシステムのコンピューティングとデータ転送における時間消費の比較を示しています。結果から、連合転移学習のこれら 2 つのセクションの時間消費は、分散機械学習の約 20 倍であることが示されており、連合転移学習のパフォーマンスのボトルネックは主にコンピューティングと転送から生じていることも確認できます。そこで、次に、これら 2 つの側面からそれぞれ連合転移学習の時間コストを分析します。

図2: 分散機械学習と連合転移学習のパフォーマンス比較（水平方向と垂直方向の両方）

3.計算オーバーヘッド分析

1. パフォーマンス分析

詳細な分析のために、図 3 に示すように、計算時間をモデルのトレーニング (数値計算) と追加操作 (プロセス間通信やメモリ コピーなどを含む) の 2 つの部分に分けます。テストの結果、トレーニング タスクのエンドツーエンドの時間コストのうち、数値計算に費やされる時間はわずか 18% 程度で、ほとんどの時間はメモリのコピーなどの追加作業に費やされていることがわかりました。

追加操作を具体的に説明すると、異なる機能を実装するためにフェデレーテッド転移学習の基盤となる実装では異なるプログラミング言語が必要であり、Python と Java 仮想マシン (JVM) 間のデータ転送など、言語環境間でのデータ交換とメモリのコピーには長い時間がかかります。さらに、フェデレーテッド転移学習では、タスクの作成、データ転送、その他のタスクを管理するために最下層で複数のプロセスを開始する必要があり、プロセス間通信にも大きなオーバーヘッドが発生します。一般的に、プロセス間通信とメモリのコピーは、現在の連合転移学習実装における主なパフォーマンスのボトルネックです。

図3: モデルのトレーニング時間と追加時間オーバーヘッドの比較

図4: 暗号化操作がモデルのトレーニング時間に与える影響

モデルのトレーニング中、より明らかな時間のオーバーヘッドは準同型暗号化です。連合転送学習で使用される部分準同型暗号化は、元の浮動小数点演算を数千の大きな整数間の演算に拡張するため、明らかに計算パフォーマンスが大幅に低下します。したがって、図 4 は暗号化モデルのトレーニングとプレーンテキスト モデルのトレーニングの実行時間を比較しています。テスト結果によると、準同型暗号化操作により、モデルトレーニング プロセスに 2 倍以上の追加時間オーバーヘッドが発生することがわかりました。したがって、準同型暗号化操作を高速化することは、連合転送学習のパフォーマンスを最適化するための実行可能なソリューションです。

2. 最適化計画

追加のオーバーヘッドを削減するという観点から、Unix ドメイン ソケットまたは JTux を参照して、より効率的なプロセス間通信を実現できます。同時に、JVM ローカル メモリを使用すると、環境間でのメモリのコピー速度を効果的に向上できます。

数値計算の高速化の観点から、高性能コンピューティング ハードウェアを使用することで、高スループットの準同型暗号化操作を実現できます。 GPU や FPGA に代表される今日のコンピューティング ハードウェア デバイスは、豊富なコンピューティング、ストレージ、通信リソースにより、ほとんどの数値計算を高い同時実行性で処理できます。準同型暗号化のオーバーヘッドを大幅に削減することで、モデルトレーニングの全体的なパフォーマンスを効果的に向上させることができます。

4.データ転送オーバーヘッド分析

1. パフォーマンス分析

計算オーバーヘッドの明らかな増加に加えて、フェデレーテッド転移学習におけるデータ転送オーバーヘッドのほぼ 20 倍の増加も注目に値します。この現象には3つの主な理由があります。最初に、オーバーヘッドの計算の観点から、データビット幅を大幅に増加させるだけでなく、データ送信時間を保護するために、データの送信を保護するために、データの送信を保護するために、データの送信を保護するために、データの送信を保護するために、データの送信に比べて、伝統的な機械学習時間を保護するために、伝達時に並ぶ必要があるデータの幅を大幅に増加させます。最終的に、分散型の機械学習は密なデータセンターのネットワークで展開されることが多いため、クロスノード通信によって引き起こされるオーバーヘッドも、実際の転送学習のアプリケーションであり、さまざまな参加者が散在することが多いです4、世界中のデータセンターネットワークでフェデレーショントランスファーラーニングのさまざまな参加者を展開すると、データ帯域幅は低く、データ送信の遅延は全体的な実行時間の30％以上を占め、非常に深刻な影響を引き起こします。

図4: 参加者が異なる地理的な場所に配置されている場合のデータ転送時間とエンドツーエンドの実行時間への影響

2. 最適化計画

サイト間のマルチパーティデータ交換では、ネットワーク品質が重要な役割を果たし、集中的な通信はネットワークの輻輳を引き起こしやすくなります。そのため、データ伝送パフォーマンスを向上させるためにネットワーク輻輳制御技術を研究することは実現可能な解決策です。 PCC アルゴリズムに代表される輻輳制御アルゴリズムは、きめ細かい輻輳制御ルールを通じて長距離データ伝送のネットワーク パフォーマンスを最適化し、それによって連合転送学習の全体的なパフォーマンスを向上させることができます。

V.結論

プライバシー コンピューティングにおける機械学習の拡張として、フェデレーテッド転送学習は、データ サイロを破壊し、より高いデータ価値を実現する上で非常に重要な役割を果たします。しかし、すべての安全なコンピューティング システムと同様に、パフォーマンスとセキュリティのバランスを取るのは困難です。既存の連合転移学習システム フレームワークは、実際の運用におけるパフォーマンス要件を満たすにはほど遠いものです。詳細なパフォーマンス分析により、コンピューティング、メモリコピー、データ転送のオーバーヘッドの問題が、フェデレーテッド転送学習のエンドツーエンドのパフォーマンス低下の重要な原因であることがわかりました。より多くのシナリオでフェデレーテッド転移学習を実装するには、さまざまなソリューションを組み合わせて、各リンクをターゲットにした最適化を実行することが不可欠です。