通过测试时回归重新思考序列压缩

arXiv:2610.31574v1 公告类型：新论文 摘要：序列压缩是高效语言模型和多模态模型中的一项基本操作，也是关键的信息瓶颈，但目前主流的基于池化或学习式投影的方法仍然表现欠佳。我们从测试时回归的视角重新审视序列压缩：输入词元定义一个回归问题，其拟合系数构成压缩表示。重要的是，该回归问题通过反向传播进行端到端学习，而其系数则在前向传播过程中以闭式解的形式高效计算。由此，我们提出了 TTR-Compressor，作为传统池化和基于投影的压缩方法的通用替代方案。我们将 TTR-Compressor 分别用作分块稀疏注意力的压缩器和多模态大语言模型的视觉词元合并器，并对其进行评估。在分块稀疏注意力中，相较于基于注意力的压缩器，TTR-Compressor 大幅提升了 RULER 上的性能。在视觉词元合并任务中，它始终优于标准 MLP 合并器，并且在视觉词元数量减少 55.6% 的情况下仍能达到与其相当的性能。这些结果表明，测试时回归可作为高效语言模型和多模态模型中序列压缩的一种有效基础操作。