Google が地図「タイムマシン」を公開: 100 年前のあなたの街はどんな様子だったでしょうか?

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

あなたが育った通りは、10年前、あるいは100年前にはどんな様子だったでしょうか?

[[346939]]

△スピッツァー大谷

現在、Google は AI を使って古い画像データを復元するだけでなく、新しい「タイムトラベル」ソリューションもリリースしています。

このように、3D 視点を使用して、1890 年から 1970 年にかけてのマンハッタンのチェルシー地区の建築の変化を見てみましょう。

ちょっと歴史的な変化のような気がしませんか？

このような「タイムマシン」のエンジンは、Google がリリースしたブラウザベースのツールセットであり、主に次の 3 つの部分で構成されています。

クラウドソーシングプラットフォーム。ユーザーは、歴史的な都市地図をアップロードし、それを現実世界の座標と照合し、地理補正し、ベクトル化することができます。
時空間マップサーバー。都市の地図が時間の経過とともにどのように変化するかを表示できます。
3D 体験プラットフォーム。 rǝ マップサーバー上で実行され、ディープラーニングを使用して、限られた歴史的画像とマップデータに基づいて 3D の建物を再構築し、3D エクスペリエンスを作成します。

クラウドソーシングを通じて構築

都市の過去を再構築する上で最も難しいのはデータにあります。利用できる画像はほとんどなく、画像から得られるメタデータは当然ながら現代の地図よりもはるかに少ないのです。

この課題を解決するために、Google のエンジニアは、Google Cloud と Kubernetes 上で実行されるオープンソースツール rǝ を使用しました。

その機能は、クラウドソーシングを使用して、ユーザーが共同で時間軸を持つマップサーバーを作成できるようにすることです。

具体的には、ユーザーはブラウザを通じてさまざまな時代の紙の地図のスキャンをアップロードし、地理補正を実行して歴史的な地図を現実世界の座標と一致させることができます。

次に、ランドマークや道路などの地理的特徴をトレースして、歴史的な地図を OSM ベクター形式に変換しました。

これらのベクターマップはタイルサーバーによってレンダリングされた後、Google マップでよく見られる、拡大やパンが可能なスリッピーマップになります。

3Dモデルの再構築

次のステップは、これらの画像と地図データを使用して、歴史上に登場した建物の 3D 構造を再構築することです。

ここで難しいのは、ほとんどの場合、建物の歴史的な画像が 1 つしかない可能性が高いことです。この目的のために、Google のエンジニアは、粗から細までの認識および再構築アルゴリズムを開発しました。

図に示すように、まず、クラウドソーシングによる注釈や自動検出アルゴリズムに基づいて、地図上のマークや歴史的画像内の建物のファサードを識別し、大まかな 3D 構造を生成します。

同時に、アルゴリズムは窓、入り口、階段など、建物のファサードにある個々のコンポーネントをすべて識別し、そのカテゴリに基づいて詳細な 3D 構造を再構築します。

これら 2 つを組み合わせると、最終的な 3D メッシュが得られます。結果は 3D ライブラリに保存され、次のレンダリングのために準備されます。

このアルゴリズムに関係する SOTA ディープラーニングモデルには次のものがあります。

窓、入り口、階段などのファサードコンポーネントの注釈を使用してトレーニングされた RCNN を使用して、履歴画像内の境界ボックスレベルのインスタンスを特定します。
セマンティックセグメンテーションモデル DeepLab は、各セマンティッククラスにピクセルレベルのラベルを提供します。
ファサード上に生成されるウィンドウが等間隔で一貫した形状になるように特別に設計されたニューラルネットワーク。同時に、階段や窓などの異なるセマンティッククラス間の一貫性も確保され、これらのコンポーネントが適切な位置に配置されるようになります。

世界の街と「Microsoft Flight Simulator」を復元

これに先立ち、マイクロソフトはAIスタートアップBlackshark.aiと提携し、機械学習の2Dから3Dへの変換モデルを通じて世界中の200万の町、15億の建物、3万7000の空港を再現した世界最大のシミュレーションゲーム「Microsoft Flight Simulator 2020」もリリースした。

ゲームが発売されるとすぐに、有名なゲームレビューメディアIGNは10点満点の評価を与えました。

さらに、ブラックシャークは、このような技術が将来的に自動運転にも使用される可能性があることも明らかにした。

さて、今回Googleが立ち上げたノスタルジアプロジェクトについて、どう思われますか？

興味がある方はぜひ参加してみてください。Googleは過去のデータセットとソースコードをオープンソース化すると言っていますよ〜