人工知能はリモートセンシングデータの大きな可能性を解き放ち、国勢調査の手作業が置き換えられるかもしれない

畳み込みニューラルネットワーク（CNN）と衛星画像データを使用して地域の所得レベルを予測する手法がますます普及しており、いくつかのソリューションは徐々に商品化され、市場に投入されようとしています。しかし、CNN の「ブラック ボックス」の性質により、ほとんどのモデルは予測の背後にあるプロセスを説明できません。

最近の研究では、ニューラルネットワークを視覚化するヒートマップであるGrad-CAMを使用してこれらの予測の背後にあるロジックをさらに調査し、予測プロセスで同様の機能が使用されているかどうか、またこれらの機能が所得レベルとどのように関連しているかなど、これらのモデルの信頼性に疑問を投げかけています。

近年、労働力の移動であれ、教育や住宅などの資源の配分であれ、都市化のプロセスは不可欠であり、継続的に加速する都市化のプロセスは、間違いなく都市の社会的および経済的環境に深刻な影響を及ぼしています。このプロセスをどのように定量的に監視および分析するかは、都市計画および都市環境研究の分野で重要なテーマとなっています。

ますます進歩するリモートセンシング技術と衛星技術により、特定地域の地理データの観測や都市化の研究が可能になりました。衛星、飛行機、その他の航空機を介して地上の物体から電磁放射情報を収集することにより、その地域の地理的環境や資源の分布を判断することができます。例えば、都市の人口密度や道路建設状況の収集、人口の経済的特徴の測定など。

マルチソースの高精度リモートセンシング データの急増により、従来の手動解釈や半自動ソフトウェア解釈方法では、効率と精度が低下しています。人工知能と高解像度リモートセンシングの活用は完璧な組み合わせと言えます。大量のデータ分析問題を解決するのが得意な機械学習アルゴリズムの特性に基づいて、リモートセンシング画像解釈サイクルを大幅に短縮し、解釈精度を向上させることができます。

実際、畳み込みニューラルネットワーク（CNN）と衛星画像データを用いて地域の所得水準を予測する手法は普及が進んでおり、いくつかのソリューションは徐々に商品化され市場に投入されようとしている。たとえば、経済生活に関する信頼できるデータが不足している発展途上国では、高解像度の衛星画像に基づいて消費者支出や財産の富を推定することは、間違いなく正確で低コストかつ拡張可能な選択肢であり、地方自治体の政策や計画の決定に重要な参考資料となるでしょう。

「このタイプのソリューションの基本的な考え方は、収入に密接に関連する特徴をモデル化して抽出することで予測を行うことです。しかし、私たちの研究では、これが当てはまらない可能性があることが示されています。そのため、CNNが視覚的特徴を予測モデルに統合する方法をより深く理解する必要があります」と研究者のジェイコブ・レヴィ・アビトボル氏とマーティン・カルサイ氏は述べました。

フランスのリヨン高等師範学校（ENS）のアビトボル氏とハンガリーの中央ヨーロッパ大学（CEU）のカルサイ氏は最近、航空写真から特定の場所の社会経済的地位を予測し、その基礎となる都市の地形に基づいてその活性化マップを解釈するニューラルネットワークモデルを共同で開発しました。これにより、都市の地形に基づく予測と高解像度の社会経済マップの間のギャップが縮まりました。この研究は、衛星画像データの詳細な分析における畳み込みニューラル ネットワーク (CNN) の可能性を示しています。

図 1: 実際の統計 (左) とアルゴリズムの予測 (右) に基づくパリ地域の 1 人当たり所得マップの比較。各ピクセルは 4,000 平方メートルを表し、色の濃さはさまざまな地域の住民の平均的な社会経済レベルを表します。出典: Abitbol & Karsai。

この研究の最終的な目標は、地域の現在の衛星画像や航空画像を分析して地域の経済発展に関するデータを収集し、手作業で収集された国勢調査データを徐々に置き換えることです。理想的には、モデルは一般化可能で理解可能である必要があります。つまり、領域 A でトレーニングされたモデルは領域 B でも一貫した結果を生成し、モデルが正しい信号を使用することを保証する必要があります。

この研究では、フランスの都市の航空写真をトレーニングに使用し、MBConv モジュールを通じて特徴マップを抽出し、グローバル平均プーリング レイヤー (GAP) と高密度レイヤーを通じて単一の p 値を計算しました。このように、二項分布から各社会経済階級の確率が導き出され、その地域の住民の社会経済的地位の能力が予測されます。

この研究の画像データは主に 3 種類の公開データセットに基づいており、社会経済および土地利用データの観点からフランスの 5 つの都市の完全なデータと航空画像を抽出しています。

国立地理情報研究所（IGN）提供のフランスの自治体の航空写真。

フランス国立統計経済研究所（INSEE）提供の高解像度社会経済地図（2019年）。

欧州環境機関が提供する EU 都市地図 (2012 年) は、EU 加盟 28 か国と EFTA 加盟 22 か国をカバーしています。

データセットはすべてオンラインで利用可能です。

https://geoservices.ign.fr/documentation/diffusion/telechargement-donnees-libres.html#ortho-hr-sous-licence-ouverte

https://www.insee.fr/fr/statistiques/4176290?sommaire=4176305

アーバンアトラス

パリの地域でのサンプルデータ収集: a. リモートセンシング/航空画像、b. 所得の空間分布、c. 機能の空間分布。

この研究のコードは現在オープンソースであり、非商用利用は無料です。

https://doi.org/10.5281/zenodo.3906063

論文の宛先:

出典: arxiv.org

研究の初期段階では、使用可能なアルゴリズム モデルを確立するために最適な画像空間解像度を見つける必要がありました。Abitbol と Karsai は CNN モデルで良好な結果を達成しました。しかし、アルゴリズムをさらにテストしていくと、アビトボル氏とカルサイ氏は、このアルゴリズムが収入や社会経済的地位とはあまり関係のない都市特性によって活性化されることがよくあることを発見した。たとえば、経済的に発展した都市部では、公共施設や商業施設の明るい照明により夜間の照明強度が強くなるのが一般的ですが、このモデルでは住宅地の他の機能を優先します。

その後、研究者らは、これらのモデルが異なる地域の所得水準を予測する際に同様の特徴を使用しているかどうか、またこれらの特徴が所得水準とどのように相関しているかについて疑問を持ち始めました。

衛星画像を使用して地域の経済所得状況を推測するディープラーニングモデルは数多く存在しますが、そのほとんどは予測の背後にあるプロセスを説明できません。これは、畳み込みニューラル ネットワーク自体の技術的特性によって大きく左右されます。理論的な推論と勾配伝播を通じて、局所的な最適解に継続的に近づきます。しかし、アビトボル氏とカルサイ氏は、各画像から特定の収益を推測する方法をより深く理解するために、モデルの予測を説明しようとしています。

この目的のために、Abitbol と Karsai は、ヒート マップ Grad-CAM を使用してニューラル ネットワークを視覚化し、モデルの解釈可能性を研究しました。つまり、ヒート マップの重み形式を通じて、画像のどの部分がニューラル ネットワークの最大の活性化値を持つかを示しました。

航空写真（a）に基づいて、Grad-CAMを使用して、最貧困地域（b）と最富裕地域（c）の社会経済階層のヒートマップを計算します。ヒートマップを航空写真に重ねてCNNをトレーニングし、都市機能エリアのポリゴンマップ（d）を取得し、最貧困地域（e）と最富裕地域（f）の標準化された活性化率を計算します。 (UA: 都市部、DUF: 不連続な都市構造)

高解像度のクラス識別活性化マップを元のマップに投影し、土地利用データを重ね合わせて経験的統計特性を生成することで、モデルは社会経済的地位の観点から地域の土地利用カテゴリをより正確に予測できます。このアプローチにより、より広範囲の社会経済的地位の予測が可能になると同時に、予測される都市環境の真の特徴を正確に特定することもできます。さらに、さまざまな都市における都市トポロジーと富の分配との間のさまざまな関連パターンも示しています。

研究では、社会経済的地位を推測するプロセスにおいて、CNN モデルは土地利用と社会経済データ間の既存の相関関係を無視し、主に居住地域に含まれる特性に焦点を当てていることが判明しました。この発見により、予測の実際の応用に対する説明可能性と参考資料がさらに高まり、政策立案者や意思決定者はモデルの内部の仕組みに対する理解を深められるだけでなく、貧困地域の都市開発や都市計画にさらなるインスピレーションをもたらすことができます。

CNN は地理的な社会経済データを収集する可能性を示していますが、この研究では、予測の背後にあるプロセスは信頼できない可能性があり、さらに調査する必要があることが示唆されています。次に、研究チームは予測モデルの解釈可能性についてさらに調査を行い、より効果的かつ信頼性の高いパフォーマンスを実現できるようにします。

アビトボル氏とカルサイ氏は、「私たちは、モデルの予測可能性と解釈可能性に影響を与える要因に非常に興味を持っています。さらに、従来の視覚認識アルゴリズムを使用して所得レベルを予測し、CNN モデルのさまざまな地域への移住能力と高精度の社会経済予測の正確さを検証します。」と述べました。