后训练中的 Sharpening Tax

arXiv:2610.01509v1 发布类型：cross 摘要：关于大语言模型（LLMs）强化学习（RL）后训练，一项新兴假设认为，后训练只是在锐化基础模型已有的行为，以牺牲解法覆盖度为代价提升单次准确率。尽管这一权衡已在数学和编程任务中得到观察，但它未必适用于智能体任务，因为多轮工具使用和交互可能需要模型在后训练期间新获得的能力。我们出人意料地发现，配备轻量级推理框架的预训练 LLMs 可以充当能力不俗的智能体。尽管其准确率（pass@1）低得多，但在拥有充足测试时预算的情况下，它们在解法覆盖度（pass@K）方面往往超过经过后训练的对应模型。我们进一步分析了其底层机制，发现后训练会将任务推向两个极端：要么总能解决，要么永远无法解决，从而以牺牲解法覆盖度为代价，提高采样效率和一致性。为衡量这一代价，我们提出 Sharpening Tax，这是一项诊断指标，用于量化后训练后测试时可扩展性的损失。在来自四个系列的 14 对基础模型/后训练模型，以及三个智能体基准测试中（总计 42 个案例），该税负在大多数设置下普遍存在，可以通过少量 rollout 进行估计，并且与其他指标具有良好的相关性。最后，我们提出后验温度调节组采样（PTGS），这是一种简单、即插即用的贝叶斯采样器，可根据估计的难度为每个提示自适应地调整采样温度。在两个智能体环境中应用于 RL 训练期间时，PTGS 相比固定温度基线承担的税负更低，在重复采样下能够解决更多任务，同时还能提升单次准确率。