arXiv cs.AI精选72

GeoLatent:通过路由优化进行几何引导的潜在结构化,用于三维推理

GeoLatent: Geometry-Guided Latent Structuring with Routed Optimization for 3D Reasoning

· 12天前

精选理由

通过几何引导与路由优化,提升模型从图像进行三维空间推理的准确性与可解释性。

AI 摘要

尽管视觉语言模型已取得进展,但从二维图像进行三维空间推理仍然具有挑战性。基于文本的方法使用离散标记描述中间几何结构,这限制了对连续空间关系的保真度。连续潜变量能够提供更丰富的表示,但单一类型的潜变量无法明确分离不同空间任务所需的线索。分解式空间潜变量在几何监督下分别表示位置、方向和全局几何结构,从而解决了这一问题。然而,几何表示仍可能向某一个主导方向塌缩,而不受限制的注意力机制则可能导致潜变量在答案学习过程中未得到充分利用。我们提出 GeoLatent,将 Common--Residual Geometry Alignment (CR-GEO) 与路由优化相结合,在促进基于潜变量的答案学习的同时,对几何状态进行结构化。CR-GEO 将教师几何结构分解为共享部分和残差部分;路由优化联合训练几何与语言,暂时引导视觉答案学习通过潜变量进行,并在几何监督下恢复完整注意力。在受控对比实验中,CR-GEO 将几何结构的有效秩从 1.00 提升至 3.87;在 128 个固定问题上,于瓶颈处阻断潜变量读取会使方向准确率从 89.1% 降至 25.8%。恢复后,差异化的几何表示和由潜变量介导的视觉路径仍可与直接图像访问并存。GeoLatent 在 SPAR-Bench 和 SPBench 上分别取得 73.0% 和 72.1% 的成绩,均优于此前报告的方法。

查看原文(arXiv cs.AI)