利用 3D Foundation Models 重建地理多样化的建筑
Towards Reconstructing Geographically Diverse Architecture with 3D Foundation Models
精选理由
揭示3D模型地域偏差成因,提出提升重建性能与公平性的方案。
AI 摘要
arXiv:2610.22514v1 发布类型:cross 摘要:互联网规模的真实世界地标照片集合推动了 3D 计算机视觉的发展,但对于现代 3D Foundation Models(3DFMs)而言,这些数据仍然极具挑战性,因为此类模型需要通过单次前馈处理来估计场景结构。在本研究中,我们引入了 ArchWorld,这是一个涵盖地理范围广泛且包含丰富元数据的 3D 建筑地标基准。我们利用该基准对当前 3DFMs 进行全面的误差分析,以了解它们的不足之处以及改进方法。我们考察了模型误差中具有社会意义的差异,发现模型性能因地理区域而异;然而,与典型的公平性范式不同的是,这些趋势仅部分符合训练数据的地域分布。我们的研究表明,观察到的地理差异不仅反映了数据分布和场景规模的差异,也反映了特定地区建筑特征和背景干扰因素的差异,而这些因素使不同地区的场景在本质上具有不同的难度。基于对这些模型失效情况的认识,我们提出了一种干预方案,在提升 3DFM 性能的同时减少地理差异。