前瞻性事后分析：通过预测—现实差距实现自校准强化学习

arXiv:2610.02740v1 发布类型：新 摘要：长时程智能体的强化学习依赖纯粹的回溯式训练信号：只有在观察到环境后果后才进行信用分配，使得智能体在采取行动时的信念无法反映到梯度中。我们提出前瞻性事后分析（PH），这是一种自校准训练原则，通过利用智能体的前瞻性预测（反馈前）与回溯式评估（反馈后）之间的差距所产生的信号，为任意回溯式基础方法提供增强。该逐轨迹惊讶度能够识别智能体自我模型最不准确的样本，并通过停止梯度的惊讶度加权优势放大这些样本对梯度的贡献。由于前瞻性预测器与策略共享参数，二者会共同演化，逐步将关注点转向智能体尚未察觉的盲点。我们将这一原则与特权信息差距联系起来，并表明，最小化惊讶度残差能够为降低智能体失校准率提供下降路径；因此，校准是优化的副产物，而非通过额外目标实现的结果。在单轮可验证任务和多轮个人智能体任务上（采用 GRPO、在策略蒸馏及二者结合的方式），PH 同时提升了任务性能与校准水平，并且在不同模型规模下均取得稳定增益。值得注意的是，主导性的失校准模式会在不同场景之间发生结构性转变：单轮任务中主要表现为过度自信的失败，多轮任务中则主要表现为不够自信的成功；然而，同一训练原则能够成功应对这两种模式。