マテリアル界のImageNet、大規模6次元マテリアル実写データベースOpenSVBRDFを公開

計算グラフィックス分野では、マテリアルの外観は、実際のオブジェクトと光の間の複雑な物理的相互作用を表し、通常は空間的に変化する双方向反射率分布関数 (SVBRDF) として表現されます。これはビジュアル コンピューティングの不可欠なコンポーネントであり、文化遺産、電子商取引、ビデオ ゲーム、視覚効果などの分野で幅広い用途があります。

過去 20 年間、特にディープラーニングの普及以降、高精度で多様なデジタルマテリアルの外観に対する需要は、学界と産業界において増加し続けています。しかし、技術的な課題により、大規模なデータベースを収集することは依然として非常に困難であり、公開されている材質の外観に関する実際のデータベースの数は非常に限られています。

この目的のために、浙江大学コンピュータ支援設計とグラフィックスシステム国家重点実験室と杭州湘鑫科技有限公司の研究チームは共同で、平面異方性材料外観を堅牢かつ高品質かつ効率的に取得するための新しい統合システムを提案しました。研究チームはこのシステムを利用して、 OpenSVBRDF公開材料データベースを構築しました。

図 1: OpenSVBRDF データベースからのいくつかの材料サンプル。各行は同じ材料カテゴリに属します。

これは、木材、布地、金属を含む9つのカテゴリをカバーし、合計1,000の高品質平面サンプルと1,024×1,024の空間解像度（ 10億を超える測定BRDFに相当）を備えた初の大規模6次元SVBRDF測定データベースです。

データベースホームページ: https://opensvbrdf.github.io/

現在、データベースは非商用目的での使用に限り完全に無料です。ウェブサイトでアカウントを申請するには、基本情報を送信するだけで済みます。審査に合格すると、GGX テクスチャ マップを含む関連データとコードを直接ダウンロードできます。関連研究論文「OpenSVBRDF: 測定された空間的に変化する反射率のデータベース」が、コンピュータグラフィックスに関する最高峰の国際会議であるACM SIGGRAPH ASIA 2023 (Journal Track)に採択されました。

論文ホームページ: https://svbrdf.github.io/

技術的な課題

直接サンプリング法は、さまざまな照明と視野角の組み合わせの下で物理的材料の高密度測定を行います[Lawrence et al. 2006]。これにより、高品質で堅牢な取得結果を実現できますが、非常に非効率であり、時間とストレージのコストが高くなります。もう 1 つの選択肢は、事前の知識に基づいた再構築方法であり、これにより、スパースなサンプリングされたデータから材料を再構築できます。これにより効率は向上しますが、事前の条件が満たされていない場合は品質が不十分になります[Nam et al. 2018]。さらに、現在のSOTA光パス多重化技術は高い取得効率と再構成品質を実現していますが、ブラシ仕上げの金属や研磨されたベニヤなどの非常に複雑な材料を処理する場合、アルゴリズムは十分に堅牢ではありません[Kang et al. 2018]。

図2：既存の資料収集研究の代表的な成果。左から右へ: [Lawrence et al. 2006]、[Nam et al. 2018]、[Kang et al. 2018]。そのうち、[Kang et al. 2018]は、2018年にACM SIGGRAPHで発表されたチームの初期の研究です。

ハードウェア

研究チームは、物質の外観を効率的にスキャンするために、ほぼ半立方体で大きさが約70cm×70cm×40cmの近接場照明多重化装置を構築しました。サンプルは透明なアクリル板上に置かれ、引き出しスライドを介して素早く出し入れできるため、高いスループット率を実現できます。このデバイスは、2 台のマシン ビジョン カメラと 16,384 個の高輝度 LED で構成されています。2 台のカメラは、それぞれ約 90 度 (主視野角) と 45 度 (副視野角) の角度からサンプルをキャプチャします。LED はデバイスの 6 つの面に分散されています。独自に開発した高性能制御回路は、各LEDの独立した輝度制御を担い、ハードウェアレベルで光源投影とカメラ露出の高精度な同期を実現します。

図 3: 取得装置の外観と 2 つの視野角からの写真。

買収と再建

このシステムは、ネットワーク予測と微調整に基づく 2 つの一般的な方法の利点を革新的に組み合わせています。微分可能な照明パターンの最適化によって物理的な取得効率を高めるだけでなく、微調整によって最終結果の品質をさらに向上させることもできます。これにより、初めて、平面 SVBRDF の非常に堅牢で高品質かつ効率的な取得と再構築が実現します。

具体的には、物理​​サンプルを再構築するために、研究者はまず均一な照明下で高密度の SIFT 特徴をマッチングさせることにより、2 台のカメラのビュー間の高精度な対応を確立します。物理的な取得では、効率的な取得のために、まずオートエンコーダーの一部として照明パターンが最適化されます。オートエンコーダーは、2 つのビューからの測定値に基づいて複雑な外観を再構築する方法を自動的に学習し、その結果を中間ニューラル表現として表します。次に、63 個の同等の線形光源の下でメインビュー カメラで撮影された写真に基づいて画像エラーをマッピングすることでニューラル表現を微調整し、最終結果の品質と堅牢性を向上させます。図3はシステム全体の処理フローを示しています。詳細については原文論文を参照してください。

図 4: システム全体の取得および再構築のプロセス。

結果

研究者らは、9 つ​​のカテゴリと合計 1,000 個のサンプルの外観を収集して再構築しました。また、標準の物理ベース レンダリング パイプライン (PBR) で直接使用できるように、この研究では、業界標準の異方性 GGX BRDF モデル パラメータにニューラル表現を適合させました。図5は、材料再構築結果の個々のパラメータ/属性を示しています。各サンプルには、193 枚のオリジナル HDR 写真 (合計サイズ 15 GB)、介在ニューロン表現 (290 MB)、GGX パラメータを表すテクスチャ マップと透明度マップを含む 6 つのマップ (合計サイズ 55 MB) が保存されます。ニューラル表現とテクスチャマップの両方の空間解像度は 1,024×1,024 です。

図 5: マテリアル再構築結果のサブ属性 (神経表現、拡散反射率、鏡面反射率、粗さなど)。

再構築結果の正確さを証明するために、研究者らは主要な視点からの写真（下の図の最初の行）と神経発現マッピングの結果（下の図の2番目の行）を比較しました。定量的誤差（SSIM/PSNR として表される）は、プロットの下部に注釈が付けられます。下の図の結果からわかるように、このシステムは高品質のマテリアル再構成を実現します (SSIM>=0.97、PSNR>=34db)。

図 6: メイン視点での実際の写真とニューラル表現レンダリング結果の比較。

視野角全体にわたる再構成結果の一般化をさらに実証するために、研究者らは、点光源下で 2 つの視野角から撮影された写真と、GGX フィッティング パラメータを使用して描画された結果を比較し、再構成結果の視野間の正確性を検証しました。

図 7: 2 つの視野角での実際の写真と異方性 GGX フィッティング パラメータのプロット結果の比較。

研究者らはまた、材料生成、材料分類、材料再構築という3つの側面におけるデータベースの応用を実証した。詳細については原論文を参照してください。

図 8: OpenSVBRDF を使用して MaterialGAN をトレーニングし、マテリアル生成と補間を行う。

図 9: OpenSVBRDF を使用してアクティブ照明をトレーニングし、材料分類の精度を向上させます。

図 10: OpenSVBRDF を使用して、単一点サンプリング (左) と光路多重化 (右) に基づく BRDF 再構成の品質を向上させます。

見通し

研究者らは、より多様な外観を示す材料サンプルをさらに追加することで、既存のデータベースを拡張する取り組みを進めていく予定です。将来的には、材質の外観と幾何学的形状の両方を含んだ大規模かつ高精度な計測対象物データベースの構築も計画している。さらに、研究者はOpenSVBRDFに基づいて材料推定、分類、生成の分野で公開ベンチマークを設計し、客観的かつ定量的な標準テストを通じて関連研究の将来の発展を促進するための確固たるデータサポートを提供します。