解码寄存器令牌保留全局场景细节

arXiv:2610.13299v1 公告类型：交叉 摘要：预训练视觉 Transformer 学习涵盖空间 patch 令牌和非空间令牌的结构化图像表示。近期分析表明，非空间寄存器令牌编码了光照、模糊和风格等全局场景属性。然而，基于 patch 的图像解码器会丢弃这些输出，使解码器只能从 patch 中恢复图像外观。我们研究了在完整的空间 patch 表示已经可用的情况下，保留寄存器特征是否能够改善解码。我们使用配备寄存器的冻结编码器和表示自编码器（RAEs）来探讨这一问题。我们的解码器通过联合自注意力同时处理四个寄存器令牌和全部 patch 令牌。我们采用外观探针、成对重建误差分析以及固定解码器下的寄存器替换实验，考察寄存器能够提供哪些全局图像属性，以及这些属性的取值如何影响重建像素。对于生成任务，我们训练了一个多头注意力池化（MHAP）预测器，从采样得到的 patch 中恢复寄存器特征，同时保持预训练扩散模型及其样本不变。在 ImageNet-1K 上，我们的 ViT-B 解码器使用 DINOv2 和 DINOv3 时，平均重建 FID 分别达到 0.472 和 0.442；相较于各自仅使用 patch 的基线，分别降低了 9.5% 和 5.2%。对应的 PSNR 分别为 19.73 和 20.54 dB。在生成任务中，在相同采样 patch 上，我们的 DINOv2 模型取得了 1.641 的平均 FID，比仅使用 patch 的基线低 9.8%。