Best-of-Depth：在循环 Transformers 中学习探索性动态

循环 Transformers 通过反复更新潜在状态来扩展推理时的计算量，但最终深度训练并不会直接促进有用的中间候选结果。我们提出 Best-of-Depth（BoD），通过在不同深度上最小化预测损失，将一条循环轨迹训练为候选集合。在不同深度上可以匹配不同的有效目标，无需修改架构或使用特定深度的标签。精确匹配分析将这一目标与解覆盖率联系起来。在 N-Queens 完成任务和图着色任务上，BoD 相较于最终深度目标和中间监督目标提高了解覆盖率。N-Queens 的覆盖率达到 91.03%，而最终深度训练仅为 45.75%。进一步实验表明，模型能够发现超出训练深度的解，并在熟悉的输入上恢复出从教师池中剔除的解。使用 BoD 对预训练的循环语言模型进行微调后，当程序分别在评估所用的固定深度上生成时，其代码生成成功率池化结果高于最终深度训练。这些结果支持对循环计算进行训练，使其沿着自身轨迹发现解。