对抗性推测推理提升长时域智能体

推测解码一直被纯粹视为一种系统优化技术，用于加速大型语言模型的解码，同时不改变模型行为。在这一观点下，训练更优草稿模型的不断努力仅仅聚焦于提高接受率。我们认为，这一观点并不适用于长时域智能体推理。我们使用不同的推测解码方法，在复杂智能体任务上测量前沿开放权重模型，发现数值噪声会在验证窗口内不断累积，而思考过程中的草稿接受结果会在 30 步之后改变模型的输出分布，从而以不可预测的方向显著影响长时域智能体的推理准确率。在本研究中，我们通过控制此类噪声来提升目标模型的推理能力。虽然我们无法改变由目标模型验证的整体 token 分布，但可以训练草稿模型使其被拒绝，从而以最高精度编码关键推理。我们在智能体轨迹中识别出这些关键点，并训练草稿模型倾向于采取对抗性偏好。在推理时，经过训练的草稿模型与目标模型会恰好在这些决策点分道扬镳，验证过程随之重新开始，使关键思考 token 从目标模型中采样，并在其噪声最小的条件下完成编码。这种方法使关键推理得到更好的索引，并在长时域内更加持久。在复杂智能体编码基准测试中，我们的方法无需改变目标模型或其输出分布，即可提高端到端成功率。我们的结果重新诠释了推测解码机制：它不再只是纯粹的加速器，而是成为一种主动的上下文精度分配器；通过训练托管参数的 0.06% 至 0.28%，它能够提升长时域智能体的准确率。