更好地解码 Looped Transformers，几乎无需额外成本

arXiv:2610.02185v1 公告类型：新 摘要：Looped Transformers 通过在循环迭代中反复执行共享模块，实现参数高效化。每次循环都会产生一个可用于解码同一下一词元的中间表示，但标准解码会丢弃较早的状态。由于较早的循环包含的计算量较少，循环机制天然提供了对齐的弱预测—强预测对，无需辅助模型或外部训练。我们提出 LoopCD，一种无需训练的对比解码框架，通过将最终预测与较早的循环遍次进行对比来引导词元选择：一种是在 logit 空间中运行，并额外进行一次输出遍次（LoopCD-Logits）；另一种是在隐藏状态空间中运行，不产生任何输出开销（LoopCD-Hidden）。在四类循环式 Transformer 系列上，LoopCD 在完整循环深度下均带来了显著且稳定的提升：LoopCD-Logits 将 Ouro-2.6B-Thinking 在 AIME 2024 上的 pass@1 从 61.88% 提升至 73.33%，而 LoopCD-Hidden 则将 Huginn 在 HumanEval 上的 pass@1 从 22.56% 提升至 31.71%。更重要的是，这些性能提升使循环次数减半后仍能达到或超过完整深度下无引导基线的表现，从而将前向 FLOPs 降低 22.5% 至 48.2%。通过将中间循环状态转化为有效的引导信号，LoopCD 在显著减少推理计算量的同时，实现了更优的解码质量。