Compute Aligned Training：针对测试时推理进行优化

arXiv:2604.24957v3 公告类型：替换 摘要：扩展测试时计算已成为提升大型语言模型（LLM）性能的强大机制。然而，标准的后训练范式——监督微调（SFT）和强化学习（RL）——优化的是基础策略下单个样本的似然，从而与依赖聚合或筛选输出的测试时流程产生错位。在本文中，我们提出 Compute Aligned Training，使训练目标与测试时策略保持一致。通过将推理策略概念化为作用于基础策略的算子，我们推导出新的损失函数，以最大化应用这些策略时的性能。针对常见的测试时策略，我们分别为 SFT 和 RL 实例化了这类损失函数。最后，我们提供了实验证据，表明与标准训练相比，该训练方法能够显著提升测试时扩展的效果。