SemanTok：用于高效自回归视频生成的可预测语义词元

arXiv:2610.00686v1 公告类型：cross 摘要：近期基于视频的世界模型将自回归（AR）预测的可扩展性与扩散模型的视觉质量结合起来。场景分词器的选择对于实现二者的最佳性能至关重要，无论是在保真度还是语义方面。可变长度、由粗到细的分词器恰好能够满足这一需求：最初的粗粒度词元承载视频片段的全局语义，而后续词元则进一步刻画细节。现有的可变分词器仅在解码器早期的隐藏状态上应用表示对齐（REPA）损失，但解码器也可以部分依靠其带噪输入来完成这一目标。我们提出 SemanTok，这是一种可变长度的视频分词器，将冻结的 DINO 特征输入编码器，并添加轻量级头部，使其仅依据每个保留的词元前缀来重建这些特征。SemanTok 在各种 AR 模型规模下都实现了较高的语义对齐和视频保真度：参数量为 201M 的 SemanTok AR 模型，其性能可媲美或超越规模为其 $3.4\times$ 的 VideoFlexTok AR 模型；更大的 SemanTok AR 模型则能进一步提升保真度。它在分布外类别上仍能保持语义对齐，并且在每个噪声水平下（包括纯噪声）都能使解码器获得更高的语义对齐程度。SemanTok 在重建和生成任务中均表现良好；其较短的词元前缀预测成本更低，并能带来更高的生成保真度，而像素级细节则延后到后续词元中进行刻画。