ELSA3D：用于统一 3D 理解与生成的弹性语义锚定

arXiv:2607.06565v2 公告类型：replace-cross 摘要：统一 3D 基础模型旨在通过单一主干网络生成 3D 资产，并以语言对其进行推理，但其文本与 3D 之间的交互仍大多是隐式的。现有方法将文本和 3D 词元拼接成扁平序列，并依赖自注意力机制，将粗粒度结构线索与精细几何细节压缩到一个未加区分的表示中。我们提出 ELSA3D，一种统一 3D 模型，通过弹性语义锚定解决这一问题，使语言推理与几何推理沿匹配的抽象尺度共同组织。ELSA3D 使用具备尺度感知能力的八叉树词元化器表示几何结构，并引入 Anchor Tokens——一种稀疏的跨模态单元，能够选择语义线索，将其路由至最相关的 3D 尺度，检索特定尺度的几何证据，并将融合后的信号写回统一表示，从而使交互保持稀疏而精准。轻量级的逐模块路由器使计算和推理均具备弹性，能够选择哪些文本词元在何种几何尺度上实例化锚点，使跨模态能力集中于最需要对齐的部分。ELSA3D 在图像到 3D 生成、文本到 3D 生成和 3D 图像描述等任务上均取得了最先进的性能，超过最强的统一基线；与同一模型的非弹性版本相比，其 FLOPs 和推理延迟大致降低了一半。