VTBench：评估自回归图像生成的视觉分词器

arXiv:2505.13439v2 Announce Type: replace-cross 摘要：自回归（AR）模型近期在图像生成方面展现出强大性能，其中一个关键组件是视觉分词器（VT），它将连续的像素输入映射为离散的 token 序列。VT 的质量在很大程度上决定了 AR 模型性能的上限。然而，当前的离散 VT 明显落后于连续变分自编码器（VAEs），导致图像重建质量下降，以及细节和文本保留能力较差。现有基准主要关注端到端生成质量，未能将 VT 的性能单独分离出来进行评估。为弥补这一空缺，我们推出了 VTBench，这是一个全面的基准，围绕三项核心任务系统评估 VT：图像重建、细节保留和文本保留，并涵盖多种评估场景。我们利用一组指标系统评估了当前最先进的 VT，以衡量重建图像的质量。研究结果表明，与离散 VT 相比，连续 VAE 能够生成更优越的视觉表征，尤其是在保留空间结构和语义细节方面。相比之下，离散 VT 生成的退化表征通常会导致重建失真、细粒度纹理丢失，以及无法保留文本和物体的完整性。此外，我们在 GPT-4o 图像生成上开展了实验，并讨论了其潜在的 AR 特性，为理解视觉分词的作用提供了新的见解。我们公开发布了基准和代码库，以支持进一步研究，并呼吁社区开发强大且通用的开源 VT。