循环式自我改进：面向循环语言模型的动态跨循环在线策略蒸馏

arXiv:2610.10623v1 公告类型：新 摘要：循环语言模型（LoopLMs）通过在循环计算步骤之间复用共享参数，为扩展推理能力提供了一种参数高效的方法。尽管前景广阔，LoopLMs 的有效后训练仍然具有挑战性。现有方法要么提供稀疏的奖励监督，或难以将其扩展到多个循环；要么依赖外部教师或特权信息，从而导致教师资源有限，或出现教师与学生上下文不匹配的问题。为解决这些限制，我们提出 LoopOPD，一种跨循环在线策略蒸馏框架，利用 LoopLM 内部额外的循环计算作为自身的监督来源。LoopOPD 将冻结的终止循环策略作为具有计算优势的教师，在由学生生成的推演轨迹上指导中间循环学生，从而无需外部教师或特权信息即可提供密集监督。我们进一步提出动态 LoopOPD（D-LoopOPD），随着共享模型参数的更新持续刷新终止循环教师，实现循环式自我改进。我们刻画了蒸馏更新如何在不同循环深度之间传播，并推导出单次更新能够在两个循环深度同时实现局部改进的充分条件。在 Ouro-Thinking 模型上的实验表明，LoopOPD 能够提升数学推理能力，而 D-LoopOPD 则通过动态更新教师模型带来进一步提升。尽管仅使用数学数据进行训练，所得模型在通用推理和代码生成基准测试上的表现也有所改善，表明循环计算可以作为 LoopLMs 的有效监督来源。我们的代码和模型检查点将在论文接收后发布。