UpLoop：通过升级再利用训练循环 Transformer，无需额外预训练计算量

arXiv:2610.41720v1 公告类型：新论文 摘要：循环语言模型可以通过共享权重的重复计算来增强推理能力，在不增加独立参数的情况下增加执行深度。然而，每增加一次循环都会增加训练浮点运算次数（FLOPs），使获得这些收益的成本更高。为解决这一成本问题，我们提出 UpLoop，这是一种利用升级再利用来训练循环 Transformer 的预训练调度方案，同时在最终参数量、训练词元总数和训练 FLOPs 方面与标准稠密基线完全一致。具体而言，UpLoop 从一个较浅的 Transformer 开始，通过复制已学习的层逐步增加深度，并利用早期节省的计算量，支持在训练后期重复执行一个共享的中间模块。不同模型规模下的实验表明，UpLoop 改善了语言建模和下游任务表现；在参数量为 13 亿时，22 项下游任务的平均得分从 22.99 提升至 27.52。这些收益也延伸到了监督微调后的数学推理任务。