人工ニューラルネットワーク分類器に基づくドメイン適応(DA)技術

人工ニューラルネットワーク分類器に基づくドメイン適応(DA)技術

DA テクノロジーは、まず自己組織化特徴マッピングに基づくクラスタリング テクノロジーを適用します。つまり、自己組織化特徴マッピング ニューラル ネットワークを使用してソース ドメインとターゲット ドメインのサンプルをクラスタリングし、次に 2 レベルのクラスタ マッピング メソッドを使用して、サンプル分布の類似性が最も高いターゲット ソース クラスタを識別します。自動エンコーディング戦略を使用して、ソースドメインに従って類似のターゲット クラスターのグループからのサンプルを変換し、トレーニング セットとテスト セットを構築し、最後に人工ニューラル ネットワーク分類器に基づいて分類します。

  • ドメイン適応

リモート センシング アプリケーションの主な課題は、ターゲット ドメイン サンプルの確率分布がソース ドメイン サンプルの確率分布と異なることです。ただし、ターゲット ドメインの分布は、ソース ドメインからの多数のラベル付きサンプルのみを使用してモデル化する必要があります。

  • 回避策

a. ソース分類器のパラメータを調整して、ターゲット ドメインからのラベルなしサンプルを分類します。ソース ドメインから伝播するノイズ、外れ値、固有の特徴に問題があります。

b. ターゲットドメインの特徴を分類器のトレーニングセットに組み込む

  • 土地被覆分類における適応技術の開発動向

a. 最初のカテゴリでは、サンプルが 2 つのドメインから分布の違いを相殺できる同一のサブスペースに直接変換されることを強調します。

b. 2 番目のカテゴリは転移学習です。これは、ソース ドメインのサンプルを使用して、ターゲット ドメインから最も情報量の多い、または最も多様なサンプルを選択します。

研究方法:

a. 2レベルクラスターマッピング:

最初のレベルでは、t 番目のターゲット クラスターと s 番目のソース クラスターの特徴の差がそれぞれ計算されます。次に、t 番目のターゲット クラスターが、特徴の差が最も小さい j 番目のソース クラスターとペアになります。これに加えて、すべてのペアになったターゲット クラスターとソース クラスターのペアに対して信頼度尺度が計算されます。第 2 段階では、半自動しきい値選択アルゴリズムを使用して、最も類似したソース ターゲット クラスターのペアと類似していないソース ターゲット クラスターを分離し、最も類似したターゲット ソース クラスターのペアのみを保持し、残りのペアは類似していないクラスターとして除外します。

具体的には、オートエンコーダーは、対応するソース クラスターに従って、最も類似したペアのターゲット クラスターからのサンプルを変換します。類似しないターゲット クラスターの場合、クラスターの中心に最も近い r 個のサンプルがラベル付き代表値 (最終トレーニング セット内のターゲット領域の分布特性に関する情報を含む) として選択され、転移学習プロセスを使用してラベル付けされます。


セカンダリ クラスター マッピング フローチャート

b. 自己組織化特徴マッピング(SOM)

自己組織化ニューラルネットワーク: 入力層は外部からの入力情報を知覚する網膜をシミュレートし、出力層はそれに反応する大脳皮質をシミュレートします。

主なタスクは依然として「分類」と「クラスタリング」であり、前者は教師あり、後者は教師なしです。クラスタリングは、ターゲット サンプルを分類することと見なすこともできますが、事前の知識がなくても、類似のサンプルを集約し、類似しないサンプルを分離することが目的です。

ネットワークの出力ニューロンはアクティブ化されるために互いに競合するため、特定の瞬間にアクティブ化される出力ニューロンは 1 つだけです。活性化されたニューロンは勝利ニューロンと呼ばれ、他のニューロンの状態は抑制されます。


自己組織化特徴マップ構造

自己組織化機能マッピングの手順

  • ベクトル正規化
  • 勝利ニューロンを見つける: ネットワークが入力ベクトル X を受け取ると、出力層内のすべてのニューロンに対応する重みベクトルが類似性について比較され、最も類似した重みベクトルが勝利ニューロンとして判断されます。
  • ネットワーク出力と重み調整: 勝利ニューロンを中心に近傍半径 R が設定されます。この半径で囲まれた範囲は勝利近傍と呼ばれます。勝利近傍内のすべてのニューロンは、勝利ニューロンからの距離に応じてさまざまな程度に重みが調整されます。

勝利した近傍は最初は大きいですが、トレーニングの実行回数が増えるにつれてそのサイズは縮小し、最終的には半径がゼロになります。

c. ANNベースの分類器

多層パーセプトロン (MLP)

MLP は、1 つ以上の隠し層を持つフィードフォワード ニューラル ネットワークであり、期待クラス ラベルと予測クラス ラベル間の二乗誤差の合計を最小化することで、連続する層のニューロン間のノード接続の重みを調整します。主に使用されるのは、ラジアル基底関数 (RBF)、楕円基底関数 (EBF)、および RBF の拡張です。


分類フローチャート

d. ラジアル基底関数ニューラルネットワーク

利点: 近似能力、分類能力、学習速度が優れ、学習収束速度が速く、あらゆる非線形関数を近似でき、局所最小値問題を克服できます。 (その理由は、パラメータがランダムではなく特定の方法で初期化されるためです。)

基本的な考え方は、RBF を隠れユニットの「基礎」として使用して、隠れ層空間を形成することです。隠れ層は、入力ベクトルを変換して、入力ベクトルを直接 (重み接続なしで) 潜在空間にマッピングできるようにします (低次元パターン入力データは高次元空間に変換されるため、低次元空間での線形分離不可能な問題は、高次元空間で線形分離可能になります)。隠れ層空間から出力空間へのマッピングは線形です。つまり、ネットワーク出力は隠れユニット出力の線形加重合計であり、ここでの重みはネットワーク調整可能なパラメータです。

<<:  機械学習により、脳とコンピューターのインターフェースが「プラグアンドプレイ」になります。 Natureサブジャーナル:麻痺患者もカーソルを制御できる

>>:  ブラウザで TensorFlow を使用するにはどうすればいいですか?

ブログ    

推薦する

メタバースの時代が来ます。準備はできていますか?

人類の進化の歴史を振り返ると、時代のあらゆる変化は不可逆的であることに気づくのは難しくありません。な...

...

交通大学ACMクラス卒業生のGoogleでの新たな仕事:Excelの表の数式を自動で記述

[[433049]]数式ビルダーのテーブルバージョンが登場しました。交通大学の ACM クラスを卒業...

Facebookは色を表現するために通信する2つのニューラルネットワークを作成

色をどのように表現するか考えたことはありますか?最新の研究によると、人間は個別の記号を使用して領域の...

元Googleロボット部門責任者が伸縮自在のアシスタントロボットを開発

海外メディアの報道によると、過去3年間、グーグルの元ロボット工学部長であるアーロン・エドシンガー博士...

広州には AI があり、Huawei Ascend Academy は本格的に始動しています。

[[335135]] 2020年7月18日午後、広州ロイヤルパレスホテルでHuawei DevRu...

...

バイナリ検索ツリーの検証: インターネット上の古典的なアルゴリズム

[[427951]]この記事はWeChatの公開アカウント「Programmer Bear」から転載...

...

機械学習を使用すべきでないのはどのような場合ですか?

[[330426]]ビッグデータダイジェスト制作出典: towarddatascience著者: ...

MIT とハーバード大学が協力して、ニューラル ネットワークが自身の強みを理解する方法を研究しています。

ニューラルネットワークはますます使用されるようになっています。 [[357551]]医療診断であれ、...

ChatGPT Enterprise Editionが登場: 史上最強のバージョン、無制限の使用と32kコンテキストを備えた2倍のGPT-4

ChatGPTはリリースされてから9か月が経ちました。この 9 か月間、この驚異的なアプリケーショ...

...

...

OpenAIのスーパーアライメントチームの取り組み

今年11月17日、OpenAIのCEOサム・アルトマン氏は主任科学者イリヤ・スツケヴァー氏によるクー...