従来の連合学習が異種混在の課題に直面したときは、これらのパーソナライズされた連合学習アルゴリズムを試してみてください。

この記事では、パーソナライズされた連合学習に関する 3 つの記事を厳選して詳細に分析します。

従来の機械学習手法は、サンプル データ (ライブラリ) のトレーニングに基づいて、さまざまなタスクやシナリオに適した機械学習モデルを取得します。これらのサンプル データ (ライブラリ) は、通常、さまざまなユーザー、端末、システムから収集して一元的に保存することによって取得されます。実際のアプリケーション シナリオでは、サンプル データを収集するこの方法には多くの問題があります。一方で、このアプローチはデータのプライバシーとセキュリティを危険にさらします。金融業界や政府業界などの一部のアプリケーション シナリオでは、データのプライバシーとセキュリティの要件により、データの集中保存は不可能です。一方、この方法では通信のオーバーヘッドが増加します。モノのインターネットなど、モバイル端末に大きく依存する一部のアプリケーションでは、このデータ集約の通信オーバーヘッド コストが非常に大きくなります。

フェデレーテッド ラーニングを使用すると、複数のユーザー (クライアントと呼ばれる) が協力して、ローカル デバイス上でデータを共有することなく、共有グローバル モデルをトレーニングできます。中央サーバーによって複数ラウンドの連合学習が調整され、最終的なグローバル モデルが取得されます。各ラウンドの開始時に、中央サーバーは、フェデレーテッド ラーニングに参加しているクライアントに現在のグローバル モデルを送信します。各クライアントは、受信したグローバル モデルをローカル データに基づいてトレーニングし、トレーニング後に更新されたモデルを中央サーバーに返します。中央サーバーは、すべてのクライアントから返された更新を収集した後、グローバル モデルを 1 回更新し、この更新ラウンドを終了します。フェデレーテッド ラーニングでは、上記のマルチラウンド学習および通信方法を通じて、すべてのデータを単一のデバイスに集約する必要がなくなり、機械学習タスクにおけるプライバシーと通信の課題を克服し、機械学習モデルがさまざまなユーザー (クライアント) に分散して保存されたデータから学習できるようになります。

提案以来、連合学習は広く注目を集め、いくつかのシナリオに適用されてきました。フェデレーテッド ラーニングはデータ集約の問題を解決し、機関や部門をまたいで機械学習モデルとアルゴリズムを設計およびトレーニングすることを可能にします。特に、フェデレーテッド ラーニングは、モバイル デバイスでの機械学習モデルの適用において優れたパフォーマンスと堅牢性を示しています。さらに、正確なローカル モデルを開発するのに十分なプライベート データを持たない一部のユーザー (クライアント) の場合、フェデレーテッド ラーニングによって機械学習モデルとアルゴリズムのパフォーマンスが大幅に向上します。しかし、フェデレーテッドラーニングは、参加しているすべてのクライアント（デバイス）のローカルデータの分散学習を通じて高品質のグローバルモデルを取得することに重点を置いているため、各デバイスの個人情報を取得できず、推論や分類のパフォーマンスが低下します。さらに、従来のフェデレーテッド ラーニングでは、参加しているすべてのデバイスが共同トレーニングのための共通モデルに同意する必要がありますが、これは実際の複雑な IoT アプリケーションでは非現実的です。研究者は、実際のアプリケーションにおける連合学習が直面する問題を次のようにまとめています[2]：（1）クライアント（デバイス）間のストレージ、コンピューティング、および通信機能の異質性、（2）各クライアント（デバイス）の非独立かつ同一に分散された（非IID）ローカルデータによって引き起こされるデータの異質性の問題、および（3）アプリケーションシナリオに基づいて各クライアントが必要とするモデルの異質性。

これらの異質性の課題に対処するための効果的なアプローチは、デバイス、データ、モデルのレベルでパーソナライゼーションを実行して異質性を軽減し、各デバイスに対して高品質のパーソナライズされたモデルを取得することです。つまり、パーソナライズされたフェデレーテッドラーニングです。非 IID 連合学習に関しては、Machine Intelligence が以前に特別な分析記事を公開しており、興味のある読者は読むことができます。デバイスの異種性の問題は、一般的に、新しい分散アーキテクチャ（クライアントエッジクラウド[5]など）または新しい連合学習アルゴリズム（非同期フェデレーション[6]）を設計することによって解決できます。

モデルの異質性の問題を解決するために、著者らは文献[1]でさまざまなパーソナライズされた連合学習手法を次のカテゴリに分類しました：ユーザーコンテキストの追加[8]、転移学習[9]、マルチタスク学習[10]、メタ学習[3]、知識蒸留[11]、ベース+パーソナライズレイヤー[4]、グローバルモデルとローカルモデルの混合[12]など。

この記事では、パーソナライズされた連合学習に関する 3 つの記事を厳選して詳細に分析します。そのうち、最初の論文はデバイスの異質性の問題についてのものであり[6]、著者らは新しい非同期連合最適化アルゴリズムを提案した。強凸問題と非強凸問題、および制限された非凸問題のクラスの場合、この方法はグローバル最適解にほぼ線形収束できます。 2番目の論文は、モデルの異質性の問題の解決に焦点を当てています[7]。著者らは、クライアントの正則化損失関数としてモローエンベロープを導入したパーソナライズされた連合学習アルゴリズム（pFedMe）を提案しています。このアルゴリズムは、パーソナライズされたモデルの最適化をグローバルなモデル学習から分離するのに役立ちます。最後に、3番目の論文では、パーソナライズされた連合学習のための共同クラウドエッジフレームワークPerFitを提案し、IoTアプリケーションに固有のデバイスの異質性、データの異質性、モデルの異質性を総合的に緩和します[2]。

1. 非同期フェデレーション最適化

エッジデバイス/モノのインターネット（スマートフォン、ウェアラブルデバイス、センサー、スマートホーム/ビルディングなど）の普及に伴い、人々の日常生活においてこれらのデバイスによって生成される大量のデータから「フェデレーテッドラーニング」手法が生まれました。一方、人工知能アルゴリズムで使用されるサンプルデータのプライバシーに関する考慮により、フェデレーテッドラーニングへの注目がさらに高まっています。ただし、フェデレーテッド ラーニングは同期的に最適化されています。つまり、中央サーバーがグローバル モデルを複数のクライアントに同期的に送信し、複数のクライアントがローカル データに基づいてモデルをトレーニングし、更新されたモデルを中央サーバーに同期的に返します。フェデレーテッド ラーニングの同期的な性質には、スケーラビリティの欠如、非効率性、柔軟性の欠如などの問題があります。この同期学習方式では、多数のクライアントが接続されると、同時に大量のデバイスフィードバックを受信することで中央サーバー側でネットワーク輻輳が発生するという問題があります。さらに、クライアントの計算能力とバッテリー寿命には限界があるため、タスクのスケジュールはデバイスごとに異なり、各更新エポックの終了時に接続されたクライアントを正確に同期することが困難になります。従来の方法は、タイムアウトしきい値を設定して、時間内に同期できないクライアントを削除することです。ただし、同期できるクライアントが少なすぎる場合、中央サーバーは受信したすべての更新を含むエポック全体を放棄しなければならない場合があります。

同期連合学習で発生するこれらの問題を解決するために、本論文では、加重平均を使用してグローバルモデルを更新するという重要なアイデアを採用した新しい非同期連合最適化アルゴリズムを提案します。ブレンドの重みは、古さの関数に基づいて適応的に設定できます。著者らは、これらの変更を組み合わせることで、効率的な非同期連合最適化プロセスを実現できることを実証しています。

1.1 方法の紹介

n 個のクライアントがある場合、従来の連合学習は次のように表現されます。

ここで、z^i は i 番目のクライアント デバイスのデータ サンプルです。異なるクライアント デバイス間の異質性により、保存されるデータベースも異なり、異なるデバイスから抽出されたサンプルの期待値は異なります。

フェデレーテッド ラーニングの完全な更新プロセスは、T 個のグローバル エポックで構成されます。 t 番目のエポックでは、中央サーバーは任意のクライアントから送り返されたローカルにトレーニングされたモデル x_new を受信し、加重平均によってグローバル モデルを更新します。

このうち、α∈(0,1)、αは混合ハイパーパラメータである。任意のデバイス i では、中央サーバーから (おそらく古い) グローバル モデル x_t を受信した後、SGD を使用してローカル最適化を行い、次の正規化最適化問題を解決します。

中央サーバーとクライアント デバイス上のワーカー スレッドは非同期更新を実行します。中央サーバーはローカル モデルを受信すると、すぐにグローバル モデルを更新します。中央サーバーとクライアント スレッド間の通信は非ブロッキングです。完全なアルゴリズムはアルゴリズム 1 に示されています。中央サーバー側では、ディスパッチ スレッドと更新スレッドという 2 つのスレッドが非同期に並行して実行されます。スケジューラは、一部のクライアント デバイスのトレーニング タスクを定期的にトリガーします。更新スレッドは、クライアント デバイス上でローカルにトレーニングされたモデルを受信した後に、グローバル モデルを更新します。グローバル モデルでは、読み取り/書き込みロックを備えた複数の更新スレッドを使用することでスループットが向上します。スケジューラは、個々のトレーニング タスクの古さ (更新スレッドの t-τ) を制御しながら、更新スレッドの過負荷を回避するために、トレーニング タスクのタイミングをランダム化します。クライアントからのフィードバックが古いほど（期限が切れているほど）、グローバル モデルを更新するときに発生するエラーが大きくなります。

モデル内の α ハイブリッド ハイパーパラメータについては、ヒステリシスが大きいローカル モデル (t-τ) の場合、α を減らすことで古さによって発生するエラーを減らすことができます。著者はαの値を制御するために関数s(t-τ)を導入します。具体的には、オプション関数の形式は次のとおりです。

本論文で提案する非同期連合最適化手法の完全な構造を図 1 に示します。そのうち、0: スケジューリング プロセスはコーディネーターを通じてトレーニング タスクをトリガーします。 1、2: クライアントデバイスが中央サーバーから受信する遅延x_(t-τ)のグローバルモデル。 3: クライアント デバイスは、アルゴリズム 1 で説明したようにローカル更新を実行します。ワーカー プロセスは、クライアント デバイスの可用性に応じて、作業状態とアイドル状態の 2 つの状態を切り替えることができます。 4、5、6: クライアント デバイスは、ローカルで更新されたモデルをコーディネーターを介して中央サーバーにプッシュします。スケジューラは、5 で受信したモデルをキューに入れ、6、7、8 で順番に更新プロセスに提供します。中央サーバーはグローバル モデルを更新し、コーディネーターで読み取り可能な状態にします。このシステムでは、1 と 5 は非同期かつ並行して実行されます。中央サーバーはいつでもクライアント デバイス上でトレーニング タスクをトリガーでき、クライアント デバイスもいつでもローカルで更新されたモデルを中央サーバーにプッシュできます。

図1. 非同期連合最適化システムの概要

1.2 実験分析

50,000 枚のトレーニング画像と 10,000 枚のテスト画像で構成されるベンチマーク CIFAR-10 画像分類データセットで実験を行います。各画像のサイズを変更し、(24, 24, 3) の形状にトリミングします。 4 つの畳み込み層 + 1 つの完全接続層構造を持つ畳み込みニューラル ネットワーク (CNN) が使用されます。実験では、トレーニング セットは n = 100 個のクライアント デバイスに分割されます。 n=100 の各パーティションには 500 枚の画像があります。 SGD が処理するミニバッチ サイズは、どのクライアント デバイスでも 50 です。従来の FedAvg 連合学習法とシングルスレッド SGD がベースライン メソッドとして使用されます。この論文で提案されている非同期連合最適化手法は、FedAsync と表記されます。 α のさまざまな定義に従って、α を適応させるために多項式を選択する方法は FedAsync+Poly と定義され、Hinge を使用して α を適応させる方法は FedAsync+Hinge と表されます。

図2. 指標と勾配、古さ4

図3. 指標と勾配、古さ16

図 2 と 3 は、勾配値が増加するにつれて FedAsync がどのように収束するかを示しています。全体的な古さが小さい場合、FedAsync は SGD と同程度に速く収束し、FedAvg よりも速く収束することがわかります。古さが大きい場合、FedAsync の収束は遅くなります。最悪の場合、FedAsync の収束率は FedAvg の収束率と同様になります。 α の値が非常に大きい場合、収束が不安定になる可能性があります。適応型 α を使用すると、収束はより大きな α に対して堅牢になります。最大古さ状態が 4 の場合、FedAsync と FedAsync+Hinge (b=4) は同一になります。

1.3 要約

従来の連合学習と比較して、本論文で提案する非同期連合最適化法には次のような利点があります。

効率性: 中央サーバーは、いつでもクライアント デバイスから更新を受信できます。 FedAvg とは異なり、古い (遅延フィードバック) 更新は削除されません。古さが小さい場合、FedAsync は FedAvg よりもはるかに速く収束します。最悪の場合、古さが大きい (レイテンシが高い) 場合でも、FedAsync のパフォーマンスは FedAvg と同等です。

柔軟性: 一部のデバイスがトレーニング タスクを実行できなくなった場合 (デバイスがアイドル状態、充電中、または利用できないネットワークに接続されていない場合)、それらのデバイスを一時的に停止してトレーニングの続行を待機するか、後でトレーニング済みのモデルを中央サーバーにプッシュすることができます。これにより、中央サーバーでのプロセス スケジュールの柔軟性も大幅に向上します。 FedAvg とは異なり、FedAsync は、デバイスが現在不適格/動作不能であっても、中央サーバーがデバイスの応答を待機し続ける必要がないため、独自にトレーニング タスクをスケジュールできます。また、現在不適格/動作不能なクライアント デバイスが後でトレーニング タスクを開始できるようにすることもできます。

スケーラビリティ: 中央サーバーとデバイス上のすべての更新が非ブロッキングであるため、FedAsync は FedAvg よりも多くのクライアント デバイスを並行して処理できます。サーバーは、個々のクライアント デバイスの応答時間をランダム化するだけで、ネットワークの輻輳を回避できます。

この記事では、著者は理論分析と実験検証を通じて FedAsync の収束を証明しています。強く凸な問題と強く凸でない問題の両方、および制限された非凸な問題のクラスに対して、FedAsync はグローバル最適解にほぼ線形に収束する機能を備えています。今後の研究では、著者らは混合ハイパーパラメータをより適切に調整するための戦略を設計する方法をさらに研究する予定です。

2. モローエンベロープによるパーソナライズされた連合学習

ハンドヘルドデバイスやモバイル端末の急速な発展と普及により、これらのハンドヘルドデバイス/モバイル端末によって生成される大量のデータがフェデレーテッドラーニングの発展を促進しました。フェデレーテッド ラーニングは、プライバシーを保護し、通信効率の高い方法で、クライアント (クライアント デバイス) 間に分散しているデータから正確なグローバル モデルを構築します。実際のアプリケーションでは、従来のフェデレーテッド ラーニングは次の問題に直面します。 * フェデレーテッド ラーニングのグローバル モデルを使用して、各クライアント データに対してパーソナライズされた適応処理を実行する「パーソナライズされたモデル」を見つけるにはどうすればよいでしょうか。 *

本稿では、ヘルスケア、金融、人工知能サービスなどの分野におけるパーソナライズされたモデルの応用パターンを参考に、クライアント側の損失関数に基づくモローエンベロープ最適化を導入したパーソナライズされた連合学習スキームを提案します。このスキームを通じて、クライアントは従来のフェデレーテッド ラーニングのようなグローバル モデルを構築できるだけでなく、グローバル モデルを使用してパーソナライズされたモデルを最適化することもできます。幾何学的な観点から見ると、このスキームのグローバル モデルは、すべてのクライアントが合意した「中心点」と見なすことができます。一方、パーソナライズされたモデルは、異種データ分布に基づいてクライアントが構築した、さまざまな方向に沿ったポイントです。

2.1 方法の紹介

まず、著者は古典的な連合学習について検討しました。

（１）

ここで、ω はグローバル モデルを表し、関数 f_i はクライアント i におけるデータ分散の予想損失を表します。

このうちξ_iはクライアントiの分布に応じてランダムに選択されたデータサンプルであり、f_i(ω;ξ_i)はサンプルとωに対応する損失関数を表す。フェデレーテッド ラーニングでは、クライアントのデータはさまざまな環境、コンテキスト、アプリケーションから取得される可能性があるため、クライアントは非 IID データ分布を持ち、ξ_i はクライアントごとに異なります。

従来の連合学習とは異なり、この論文では、以下に示すように、各クライアントに対して L_2 ノルムの正規化された損失関数を使用します。

（２）

ここで、θ_i はクライアント i のパーソナライズされたモデルを表し、λ はパーソナライズされたモデルの強度を制御する正則化パラメータを表します。 λ が大きいほど、信頼性の低いデータに対する豊富なデータ集約のメリットが得られますが、λ が小さいほど、十分な有用なデータを持つクライアントがパーソナライゼーションを優先するのに役立ちます。要約すると、私たちのアプローチの目標は、各クライアントが貢献する「参照ポイント」ω*から逸脱することなく、クライアントがさまざまな方向にローカルモデルを更新できるようにすることです。パーソナライズされた連合学習は、2 つのレベルの問題として定式化できます。

複数のクライアントからのデータ集約を使用して外側のレベルで ω を決定することにより、θ_i は内側のレベルでクライアント i のデータ分布に合わせて最適化され、ω から一定の距離を保ちます。 F_i(ω)はモローエンベロープとして定義されます。最適なパーソナライズされたモデルは、文献では近位演算子としても知られる pFedMe の内部層問題に対する唯一の解であり、次のように定義されます。

（３）

比較のために、著者らはPer-FedAvg[13]について議論しているが、これはおそらくpFedMeに最も近い式である。

（4）

Per-FedAvg は、従来のメタ学習のモデルに依存しないメタ学習 (MAML) フレームワークに基づくメタ学習方法です。Per-FedAvg の目標は、初期化グローバル モデルとして使用できるグローバル モデル ω を見つけ、さらに損失関数に対して勾配更新 (ステップ サイズは α) を実行して、パーソナライズされたモデル θ_i(ω) を取得することです。

Per-FedAvg と比較すると、私たちの問題は同様の「メタモデル」の考慮事項がありますが、ω を初期化として使用しません。代わりに、パーソナライズされたモデルとグローバル モデルを並行して取得するために、2 レベルの問題を解決します。このアプローチにはいくつかの利点があります。まず、Per-FedAvg は 1 ステップの勾配更新でパーソナライズされたモデルを最適化しますが、pFedMe は内部オプティマイザーに依存しないため、式 (3) はマルチステップ更新を伴う任意の反復法を使用して解くことができます。次に、Per-FedAvg のパーソナライズされたモデル更新は次のように書き直すことができます。

（５）

< x,y >を2つのベクトルxとyの内積として使用すると、同様の正規化項に加えて、Per-FedAvgはfiの1次近似値のみを最適化するのに対し、pFedMeは式(3)でfiを直接最小化することがわかります。 3 番目に、Per-FedAvg (または一般的な MAML ベースの方法) ではヘッセ行列の計算または推定が必要ですが、pFedMe では一次法を使用した勾配の計算のみが必要です。

さらに、著者らは、モロー エンベロープを導入した連合学習法の収束を保証できる、モロー エンベロープの数学的特性の証明もいくつか提供しています。

仮定1（強い凸性と滑らかさ）：fiは、次のように（a）μ強く凸であるか、（b）非凸かつL滑らか（つまり、L-リプシッツ勾配）であるかのいずれかです。

仮定 2 (制限された分散): 各クライアントの確率的勾配の分散は制限されています。

仮定3（有界多様性）：局所勾配と全体勾配の分散は有界である

最後に、著者らは、滑らかさや凸性の保存など、モローエンベロープのいくつかの有用な特性についてレビューします。

命題 1: f_i と L-Lipschitz-▽f_i が凸または非凸である場合、▽f_i は L_F 滑らか、L_F=λ (非凸 L 滑らかな f_i の場合、条件は λ>2L) であり、次の式が成り立ちます。

さらに、fi が μ に対して強凸である場合、fi は F i - μ_F = λ_μ/(λ+μ) に対して強凸です。

最後に、著者はこの記事で提案した pFedMe の完全なプロセスを次のように紹介します。

まず、内部層では、各クライアントiは式(3)を解いてパーソナライズされたモデルを取得します。ここで、w^t_(i,r)は、グローバルラウンドtとローカルラウンドrにおけるクライアントiのローカルモデルを表します。 FedAvg と同様に、ローカル モデルの目的は、グローバル モデルの構築を支援し、クライアントとサーバー間の通信回数を減らすことです。第二に、外部レベルでは、確率的勾配降下法を用いたクライアントiのローカル更新は、F_i（f_iではなく）に関して次のように行われる。

ここでηは学習率を表し、▽F_iは現在のパーソナライズモデルと式(6)を使用して計算されます。

さらに、実際のシナリオに適用する場合、次の制約を満たす δ 近似のパーソナライズされたモデルが一般的に使用されると提案しました。

同様に、近似値▽F_iの計算には次の式が使用されます。

この処理には2つの理由がある。まず、式(3)を使用してパーソナライズモデルを計算するには、ξ_iの分布に依存する▽F_i(θ_i)を計算する必要がある。実際、▽F_i(θ_i)の不偏推定値は、D_iの小さなサンプルをサンプリングすることによって計算できます。

第二に、閉じた形式のパーソナライズされたモデルを取得することは困難であり、代わりに、反復的な一次手法を使用して高精度の近似値を取得することがよくあります。

h_iが条件数kで強凸となるようにλを選択し、勾配降下法（例えばネステロフの加速勾配降下法）を適用します。

勾配降下法）））を使用してパーソナライズされたモデルを取得します。

pFedMe の各クライアントの計算の複雑さは、FedAvg の K 倍です。

2.2 実験分析

私たちの実験では、実際のデータセット (MNIST) と合成データセットの両方を使用した分類問題を検討します。 MNIST は、10 個のラベルと 70,000 個のインスタンスを持つ手書き数字データセットです。 MNIST データサイズの制限のため、著者らは完全な MNIST データセットを N = 20 のクライアントに配布しました。ローカル データのサイズとカテゴリに関して異種設定をモデル化するために、各クライアントには [1165;3834] の範囲の異なるローカル データ サイズと 10 個のタグのうち 2 個のみが割り当てられます。合成データの場合、著者らは、各クライアントのローカル モデルとデータセット間の違いを制御するために、2 つのパラメーター α = 0.5 と β = 0.5 を使用して、データ生成および配布プロセスを採用しています。具体的には、データセットは 60 次元の実数値データを使用して 10 クラスの分類器に機能します。各クライアントのデータサイズは[250;25810]の範囲です。最終的に、データは N = 100 のクライアントに配布されます。

著者らは、pFedMe、FedAvg、およびPer-FedAvgを比較しました。 MNIST データセットでの実験結果を図 4 に示します。 pFedMe のパーソナライズされたモデルは、強いコンベックス設定において、グローバル モデル Per-FedAvg および FedAvg よりもそれぞれ 1.1%、1.3%、1.5% 正確です。非凸設定の場合の対応する数値は、0.9%、0.9%、1.3% です。

図4. MNISTを使用したμ-強凸および非凸設定でのpFedMe、FedAvg、およびPer-FedAvgのパフォーマンス比較

合成データセットについては、同じパラメータと微調整されたパラメータを使用した比較結果を図 5 に示します。図 5 では、pFedMe のグローバル モデルはテスト精度とトレーニング損失の点で他のモデルほどパフォーマンスが良くありませんが、pFedMe のパーソナライズ モデルは最高のテスト精度と最小のトレーニング損失を実現しているため、依然として優位性を示しています。図 5 は、pFedMe のパーソナライズされたモデルが、グローバル モデル Per-FedAvg および FedAvg よりもそれぞれ 6.1%、3.8%、5.2% 正確であることを示しています。

図5. 合成データセットを使用したμ-強凸および非凸設定でのpFedMe、FedAvg、およびPer-FedAvgのパフォーマンス比較

実験結果から、クライアント間のデータが非独立かつ同一に分布している場合 (非 IID)、pFedMe と Per-FedAvg はどちらも FedAvg よりも高いテスト精度を達成します。これは、これら 2 つの方法でグローバル モデルを特定のクライアントに合わせてカスタマイズできるためです。ヘッセ行列の計算を避けるために複数の勾配更新を通じてパーソナライズされたモデルを近似および最適化することにより、pFedMe のパーソナライズされたモデルは、収束速度と計算の複雑さの点で Per-FedAvg よりも多くの利点を持ちます。

2.3 まとめ

この論文では、パーソナライズされた連合学習法 pFedMe を提案します。 pFedMe は、グローバル モデルの学習からパーソナライズされたモデルの最適化を分解するのに役立つモロー エンベロープ関数を利用しており、pFedMe は FedAvg と同様にグローバル モデルを更新できるだけでなく、各クライアントのローカル データ分布に応じてパーソナライズされたモデルを並行して最適化できます。理論的な結果によれば、pFedMe は最も速い収束加速率を達成できることがわかります。実験結果によると、pFedMe は、実際のデータセットと合成データセットを使用した凸設定と非凸設定の両方で、従来の FedAvg およびメタ学習ベースのパーソナライズされた連合学習アルゴリズム Per-FedAvg よりも優れていることが示されています。

3. インテリジェント IoT アプリケーションのためのパーソナライズされたフェデレーテッド ラーニング: クラウド エッジ ベースのフレームワーク

複雑な IoT 環境におけるデバイス、統計、モデルの固有の異質性は、従来のフェデレーテッド ラーニングに大きな課題をもたらし、アプリケーションを直接展開することを不可能にします。 IoT 環境における異種性の問題に対処するために、本稿では、異種性による悪影響を軽減できるパーソナライズされた連合学習手法に焦点を当てています。さらに、エッジ コンピューティングのパワーにより、パーソナライズされたフェデレーテッド ラーニングは、高速処理機能と低レイテンシを求めるスマート IoT アプリケーションの要件を満たすことができます。

エッジ コンピューティングは、主にデバイスの異種性における高通信およびコンピューティング コストの問題を解決し、IoT デバイスにオンデマンド コンピューティング機能を提供するために提案されています。したがって、各 IoT デバイスは、高速処理能力と低レイテンシの要件を満たすために、計算集約型の学習タスクをエッジにオフロードすることを選択できます。さらに、エッジ コンピューティングでは、データをリモート クラウドにアップロードせずに、デバイスの近くにローカルでデータを保存することで (たとえば、スマート ホーム アプリケーション用のスマート エッジ ゲートウェイに)、プライバシーの懸念に対処できます。差分プライバシーや準同型暗号化などのプライバシーおよびセキュリティ保護技術も、プライバシー保護のレベルを向上させるために使用できます。

本稿では、IoT アプリケーションに固有のデバイスの異質性、統計の異質性、モデルの異質性の問題を総合的に軽減する、パーソナライズされた連合学習のための共同クラウド エッジ フレームワーク PerFit を提案します。統計とモデルの異質性については、このフレームワークにより、クラウド エッジ パラダイム内の中央クラウド サーバーの調整下で、エンド デバイスとエッジ サーバーが共同でグ​​ローバル モデルをトレーニングすることもできます。グローバル モデルを学習およびトレーニングした後、さまざまなパーソナライズされたフェデレーテッド ラーニング メソッドをクライアント デバイスで使用して、さまざまなデバイスのアプリケーション要件に応じてパーソナライズされたモデルを展開できます。

3.1 方法の紹介

この論文では、デバイスの異種性、データの異種性、モデルの異種性の課題に総合的に対処するための、スマート IoT アプリケーション向けのパーソナライズされた連合学習フレームワークを提案します。図 6 に示すように、本稿で提案する PerFit フレームワークは、クラウド エッジ アーキテクチャを採用して、IoT デバイスに必要なオンデマンド エッジ コンピューティング機能を提供します。各 IoT デバイスは、ワイヤレス接続を介して集中的なコンピューティング タスクをエッジ デバイス (自宅のエッジ ゲートウェイ、オフィスのエッジ サーバー、または屋外の 5G MEC サーバーなど) にオフロードすることを選択できます。これにより、IoT アプリケーションの高い処理効率と低レイテンシの要件を満たすことができます。

図6. スマートIoTアプリケーション向けのパーソナライズされたフェデレーションラーニングフレームワーク。パーソナライズされたフェデレーションラーニング手法の柔軟な選択をサポート

具体的には、PerFit の協調学習プロセスには、図 6 に示すように、主に次の 3 つの段階が含まれます。

荷降ろしステージ。エッジ デバイスが信頼できる場合 (家庭内のエッジ ゲートウェイなど)、IoT デバイスのユーザーは、学習モデルとデータ サンプル全体をエッジ デバイスにオフロードして、高速計算を行うことができます。それ以外の場合、デバイス ユーザーは、入力レイヤーとそのデータ サンプルをデバイス上でローカルに保存し、残りのモデル レイヤーをデバイス エッジ共同コンピューティング用のエッジ デバイスにオフロードすることで、モデルの分割を実行します。

学習段階。エッジ デバイスは、個人データ サンプルに基づいてローカル モデルを共同で計算し、ローカル モデル情報をクラウド サーバーに送信します。クラウド サーバーは、各エッジ デバイスから送信されたローカル モデル情報を集約し、平均化してグローバル モデルを作成し、それを各エッジ デバイスに送り返します。このモデル情報交換プロセスは、一定回数の反復を経て収束するまで繰り返されます。したがって、高品質のグローバル モデルを実現し、エッジ デバイスに転送してさらにパーソナライズすることができます。

パーソナライゼーション段階。特定の個人特性とニーズを捉えるために、各エッジ デバイスは、グローバル モデル情報と独自の個人情報 (つまり、ローカル データ) に基づいてパーソナライズされたモデルをトレーニングします。この段階での具体的な学習操作は、採用されたパーソナライズされた連合学習メカニズムによって異なります。たとえば、転移学習、マルチタスク学習、メタ学習、知識蒸留、ハイブリッドモデルなどです。

さらに、エッジ デバイスでのローカル モデル集約により、多数のデバイスが高価なバックボーン ネットワーク帯域幅を介してクラウド サーバーと直接通信する必要がなくなり、通信オーバーヘッドが削減されます。パーソナライゼーションを実行することで、軽量のパーソナライズされたモデルを、リソースが限られたデバイスに展開できます (たとえば、モデルのプルーニングや転移学習を通じて)。これにより、通信およびコンピューティング リソースの面でのデバイスの異種性が軽減されます。さらに、フレームワークはさまざまなエッジ デバイスのローカル データ特性、アプリケーション要件、展開環境に応じてパーソナライズされたモデルとメカニズムを利用できるため、統計的異質性とモデル異質性も適切にサポートされます。

PerFit は、エッジ デバイスとクラウド サーバー間でさまざまな種類のモデル情報を交換することにより、この記事で分析する 2 つのパーソナライズされたフェデレーション ラーニング メソッドを含む、複数のパーソナライズされたフェデレーション ラーニング メソッドを柔軟に統合できます。複雑な IoT 環境に固有の異種性の問題に対処し、デフォルトでユーザーのプライバシーを確​​保することで、PerFit は大規模な実際の導入に最適な選択肢となります。

3.2 パーソナライズされた連合学習メカニズム

この記事では、スマート IoT アプリケーション用の PerFit フレームワークと統合できるいくつかのパーソナライズされた連合学習メカニズムをレビューし、簡単に説明します。この記事では、フェデレーショントランスファーラーニング、フェデレーションメタラーニング、フェデレートマルチタスク学習、フェデレート蒸留、およびデータ増強：次のタイプの分析に焦点を当てています。

3.2.1フェデレーショントランスファーラーニング

フェデレート転送学習の基本的な考え方は、グローバル共有モデルをIoTデバイス（クライアントデバイス）分散に移行し、各IoTデバイスにパーソナライズされた処理を実装して、フェデレーション学習に固有のデータ不均一性問題（非IIDデータ分布）を軽減することです。深いニューラルネットワークの構造と通信過負荷の問題を考慮すると、フェデレートトランスファーラーニングを通じてパーソナライズを達成するための2つの主要なアプローチがあります。詳細については、図7を参照してください。

図7（a）は、文献[14]でチェンによって提案された連邦移動学習方法を示しています。まず、グローバルモデルは古典的なフェデレーション学習を通じてトレーニングされ、次にグローバルモデルが各クライアントデバイスに送信されます。各デバイスは、ローカルデータを使用してグローバルモデルを改善および改良することにより、パーソナライズされたモデルを構築できます。トレーニングオーバーヘッドを削減するために、モデル全体を再トレーニングする代わりに、指定されたレイヤーのモデルパラメーターのみが微調整されます。図7（a）からわかるように、ディープネットワークの最下層はグローバル（共通）および基礎となる機能の学習に焦点を当てているため、グローバルモデルのこれらの根本的なパラメーターは、ローカルモデルに転送された後に直接再利用できます。現在のデバイスに合わせて調整されたより具体的なパーソナライズされた機能を学ぶために、ローカルデータに基づいて、着信高レベルのグローバルモデルパラメーターを微調整する必要があります。

Arivazhagan et al。 FedPerは、図7（b）に示すように、ディープラーニングモデルをベース +パーソナライズレイヤーと見なすことを支持しています。その中で、基本層は共有層として使用され、既存のフェデレーション学習方法（つまり、FedAVGメソッド）を使用して共同の方法で訓練されています。パーソナライズレイヤーはローカルでトレーニングされているため、IoTデバイスの個人情報をキャプチャします。フェデレートラーニングの1つの段階のトレーニングプロセスの後、グローバルに共有されたベースレイヤーを参加IoTデバイスに転送して、独自のパーソナライズされたレイヤーを使用して独自のパーソナライズされたディープラーニングモデルを構築できます。したがって、FedPerは、より良いパーソナライズされた推論または分類のために、特定のデバイスに関する細粒の情報をキャプチャし、データの不均一性の問題をある程度解決することができます。さらに、部分的なモデルのみをアップロードして集約する必要があるため、FEDPERはIoT環境で重要な計算と通信のオーバーヘッドをより少なくする必要があります。

図7。2つのフェデレーショントランスファー学習アーキテクチャ

3.2.2フェデレーションメタラーニング

メタラーニングでは、モデルは、多数のトレーニングモデルの目標を学ぶことができるメタ学習者によってトレーニングされています。 Federated Meta-Learningとは、メタ学習で同様のタスクをデバイスのパーソナライズされたモデルとして使用し、フェデレーション学習とメタ学習を組み合わせ、共同学習を通じてパーソナライズされた処理を達成することを指します。 Jiang et al。このメソッドは、モデルの不可知論メタ学習（MAML）アルゴリズムを使用する微調整段階を導入します。 Federated Learningによって訓練されたグローバルモデルは、単一のデバイスで細粒の情報をパーソナライズおよびキャプチャすることができ、それにより各IoTデバイスのパフォーマンスが向上します。 MAMLは、グラデーションベースのトレーニングに対応するために、任意のモデル表現と柔軟に組み合わせることができます。さらに、少数のデータサンプルのみで適応処理を迅速に学習およびパーソナライズできます。

フェデレーションメタラーニング方法は通常、複雑なトレーニングアルゴリズムを使用しているため、フェデレート転送学習方法よりも実装するのが複雑です。ただし、フェデレートメタラーニング方法の学習モデルはより堅牢であり、データサンプルが少ないデバイスに非常に役立ちます。

3.2.3フェデレーションマルチタスク学習

前の2つのセクションの分析から、フェデレートトランスファーラーニングとフェデレートメタラーニングの目的は、パーソナライズされた微調整を通じてIoTデバイスの同じまたは同様のタスクの共有モデルを学習することであることがわかります。このアイデアとは異なり、フェデレーションされたマルチタスク学習は、さまざまなデバイスでさまざまなタスクを学習し、プライバシーリスクなしにモデル間の関係をキャプチャしようとすることを目的としています。このモデル関係を使用して、各デバイスのモデルは他のデバイスに関する情報を取得できます。さらに、各デバイスで学習したモデルは常にパーソナライズされます。

図8に示すように、フェデレーションマルチタスク学習トレーニングプロセス中に、クラウドサーバーは、IoTデバイスによってアップロードされたモデルパラメーターに基づいて、複数の学習タスク間のモデル関係を学習します。各デバイスは、ローカルデータと現在のモデル関係を使用して、独自のモデルパラメーターを更新できます。 Federated Multi-Task学習により、参加IoTデバイスは、クラウドサーバーのモデル関係と各タスクのモデルパラメーターを交互に最適化することにより、ローカルモデルを協力して協力して協力して協力して協力して協力して訓練し、それによりデータの不均一性を緩和し、高品質のパーソナライズされたモデルを取得します。

[17]でMochaが提案された分散最適化方法が提案されました。高い通信コストの問題に対処するために、Mochaにはある程度の計算柔軟性があり、追加のローカル計算を実行することにより、連邦環境での通信ラウンドが少なくなります。最終結果の離散性を低下させるために、著者は、計算リソースが制限されている場合、コンピューティングデバイスのローカル更新を近似することを提案しています。さらに、非同期更新ソリューションは、個別の問題を回避するための代替方法でもあります。さらに、参加デバイスが定期的に終了できるようにすることにより、Mochaには堅牢な断層トレランスがあります。複雑なIoT環境に固有のデバイスの不均一性は、連合学習のパフォーマンスに重要であるため、フェデレーションマルチタスク学習は、スマートIoTアプリケーションにとって非常に重要です。

図8。連邦マルチタスク学習

3.2.4連邦蒸留方法

古典的なフェデレーション学習フレームワークでは、すべてのクライアント（参加エッジデバイスなど）は、グローバルサーバーとローカルクライアントの両方でトレーニングされた結果のモデルの特定のアーキテクチャに同意する必要があります。ただし、ヘルスケアやファイナンスなどのいくつかの現実的なビジネス環境では、各参加者は独自のモデルを設計する能力と意欲を持ち、プライバシーと知的財産上の理由についてモデルの詳細を共有することに消極的かもしれません。このモデルの不均一性は、従来の連邦学習に新たな課題を提示します。

Li et al。 FEDMDでは、各クライアントは、学習した知識を独立して標準形式に変換し、データやモデルアーキテクチャを共有せずに他の人がそれを理解できるようにします。中央サーバーは、この知識を収集してグローバルモデルを計算し、参加しているクライアントにさらに配布します。知識変換ステップは、図9に示すように、顧客モデルによって生成されたクラス確率によって標準形式として生成されたクラスの確率を使用するなど、知識の蒸留によって達成できます。このようにして、クラウドサーバーは各データサンプルのクラス確率を集約および平均し、クライアントに分配して更新をガイドします。

Jeong et alは、各クライアントが学生であり、他のすべてのクライアントの平均的なモデル出力と見なしている文学の連邦蒸留方法を提案しました。教師と生徒の出力の違いは、学生に学習の方向性を提供します。ここでは、教師と学生の出力を同じトレーニングデータサンプルを使用して評価する必要があるため、連邦学習で知識の精製を実行するにはパブリックデータセットが必要であることに注意する価値があります。

図9。連邦蒸留

3.2.5データ強化

Zhao et al。ただし、グローバルデータをEdgeクライアントに直接配布すると、プライバシー漏れの大きなリスクがあります。これには、データプライバシー保護とパフォーマンスの改善のトレードオフが必要です。さらに、グローバル共有データとユーザーローカルデータの分布の違いは、パフォーマンスの劣化にもつながる可能性があります。

ユーザーのプライバシーを損なうことなく不均衡な非IIDローカルデータセット問題を修正するために、研究者はいくつかの生成的なオーバーサンプリング手法と深い学習方法を採用しました。 Jeong et al。具体的には、各エッジクライアントは、データサンプルの欠落したタグ（ターゲットタグと呼ばれる）を識別し、それらのターゲットタグのいくつかのシードデータサンプルをサーバーにアップロードします。サーバーは、アップロードされたシードデータサンプルをオーバーサンプリングし、生成アートステータルネットワーク（GAN）をトレーニングします。最後に、各デバイスは、訓練されたGANジェネレーターをダウンロードして、バランスの取れたデータセットが取得されるまでターゲットタグを補足できます。データ増強を通じて、各クライアントは、生成されたデータセットに基づいて、分類または推論タスクのために、よりパーソナライズされた正確なモデルをトレーニングできます。ユーザーが個人的なデータをアップロードする意思があるように、Faugのサーバーは信頼できる必要があることは注目に値します。

3.3実験分析

このペーパー実験は、人間の活動認識タスクに焦点を当てたMobiactと呼ばれる公開されたデータセットに基づいています。 Mobiactデータセットの構築に関与するすべてのボランティアは、加速度計とジャイロスコープセンサーを備えたSamsung Galaxy S3スマートフォンを着用していました。 3軸線形加速度計と角速度信号は、ボランティアがスケジュールされたアクティビティを実行すると、組み込みセンサーによって記録されます。 1秒でアクティビティを実行するのに十分であるため、特徴抽出は1秒のスライドウィンドウを使用して実行されます。 Mobiactは、ウォーキング、階段の上下、転倒、ジャンプ、ジョギング、トレッドミルなど、10のアクティビティを記録します。実際に連邦学習環境をシミュレートするために、この実験で30人のボランティアがランダムに選択され、それらを異なるクライアントとして扱いました。各クライアントについて、いくつかのサンプルが各アクティビティに対してランダムに描画され、最後に各クライアントはモデルトレーニング用の480のサンプルを持っています。このようにして、異なるクライアントの個人データは、非IID分布（統計的不均一性）を提示する場合があります。各クライアントのテストデータは、バランスの取れた分布を持つ160のサンプルで構成されています。

クライアントでのパーソナライズされた学習に2つのモデルを使用します。 1）多層パーセプトロンネットワークは、3NNと呼ばれる400、100、10のニューラルユニット（合計パラメーター521,510）を備えた3つの完全に接続された層で構成されています。 2）3つの3×3畳み込み層を備えた畳み込みニューラルネットワーク（CNN）（最初のレイヤーには32チャネルがあり、2番目のレイヤーには16チャネル、最後のレイヤーには8チャネルがあり、最初の2つのレイヤーには2×2の最大プーリングレイヤーがあります）、128単位の完全なレイヤー、および最終的なソフトマックス出力レイヤー（合計レイヤー）があります（パラメーター）。エントロピー損失と確率勾配降下（SGD）最適化アルゴリズムを使用して、学習率0.01で3NNとCNNをトレーニングしました。

著者は、ベンチマーク方法として集中学習と古典的な連邦学習方法を選択しました。集中化された方法では、サポートベクターマシン（SVM）、K-Nearest Neighbors（KNN）、およびランダムフォレスト（RF）などの一般的に使用される機械学習方法が使用されます。さらに、一元化された3NN（C3NN）および集中CNN（CCNN）が比較に使用されます。パーソナライズされた連邦学習のために、著者は2つの広く採用された方法を選択しました：フェデレーショントランスファーラーニング（FTL）とフェデレート蒸留（FD）。 FTLの場合、各クライアントデバイスは個人データを使用して、クラウドサーバーからダウンロードしたモデルを微調整します。 FDでは、各クライアントは独自のニーズに応じて独自のモデルをカスタマイズできます。

図10は、異なる学習方法の下で30人のクライアントのテスト精度を示しています。集中化された方法の場合、ディープラーニングベースの方法（C3NN、CCNN）は、従来の機械学習ベースの方法（SVM、KNN、およびRF）よりも高い精度を達成できます。 Central Cloud Serverの調整の下で、Classic Federated Learning（FL-CNN）のEdgeクライアントは、データプライバシーを損傷することなく識別パフォーマンスを改善し、CCNNと同様の85.22％の識別率を達成できます。 FL-3NNとFL-CNNは、フェデレート学習環境に固有の統計的不均一性により、集中モードと比較してパフォーマンスがわずかに低下しています。パーソナライズされたフェデレーションラーニングを通じて、FTLとFDの両方は、ユーザーが粒子を獲得した個人情報をキャプチャし、各参加者のパーソナライズされたモデルを取得することができ、テストの精度が高くなります。たとえば、FTL-3NNの認識率は95.37％、FL3NNの認識率よりも11.12％高くなります。

図10。人間の活動認識におけるさまざまな学習方法の精度に関する研究

3.4紙の概要

このペーパーでは、データプライバシー保護を備えたスマートIoTアプリケーション用のクラウドエッジアーキテクチャのパーソナライズされたフェデレーション学習フレームワークのパフォーマーを提案します。 Perfitは、分散IoTデバイスからローカル更新を集約し、エッジコンピューティングの利点を活用することにより、グローバル共有モデルを学習することができます。 IoT環境でのデバイス、統計、モデルの不均一性に対処するために、Perfitは、IoTアプリケーションでデバイスのパーソナライズされた処理を有効にし、パフォーマンスを強化するために、さまざまなパーソナライズされたフェデレーション学習方法を自然に統合できます。著者は、人間の活動認識タスクのケーススタディを通じて、施設の有効性を実証しました。

4. まとめ

この記事では、パーソナライズされた連合学習の問題に焦点を当てています。 Federated Learningは、分散データトレーニングを処理するための効率的なソリューションであり、ローカル計算の更新を集約および平均化することにより、高品質の共有グローバルモデルを協力して協力してトレーニングできます。さらに、フェデレートラーニングは、ユーザーデータのプライバシーを損なうことなく、満足のいくグローバルモデルを学ぶことができます。ただし、分散処理方法に固有の欠点があるため、フェデレート学習は、デバイスの不均一性、データの不均一性、モデルの不均一性などの問題に直面しており、実際のプロモーションとアプリケーションで直接展開できないリスクがあります。

パーソナライズされた連合学習の目的は、さまざまな不均一性の問題を解決するために、さまざまなデバイスのアプリケーションニーズに応じて、さまざまなデバイスの展開をパーソナライズすることです。この記事では、詳細な分析のためにデバイスの不均一性とモデルの不均一性の問題を特別に対象とした2つの記事を選択し、最終的にIoTアプリケーションのクラウドエッジアーキテクチャで使用されるパーソナライズされたフェデレーション学習フレームワークを紹介する記事を選択します。著者が選択したいくつかの論文で著者が提供した理論分析と実験から、パーソナライズされた連合学習は、実際に古典的な連邦学習方法の有効性を改善し、クライアントデバイスのさまざまな異質性の状況を効果的に扱うことができ、デバイスのダウンタイム/フルストレージスペースなどの一時的な障害にさえ対処できることがわかります。 Federated Learningには、さまざまな実用的なシナリオに大きなアプリケーションニーズがあり、パーソナライズされたフェデレーション学習の技術開発と展開およびアプリケーション方法に引き続き注意を払います。