规划学习

arXiv:2610.03667v1 公告类型：新论文 摘要：策略梯度方法是现代强化学习的核心，也包括 LLM 后训练。当这类方法表现不佳时，通常被认为是探索、信用分配和动作采样噪声造成的。分类问题不存在这些问题。分类器是一种策略，其期望奖励，即其\emph{期望准确率}，就是它分配给正确标签的概率；由于该标签是已知的，策略梯度是精确且平滑的。然而，即使以期望准确率为衡量标准，精确策略梯度仍不如交叉熵。精确梯度具有短视性：它只根据一次更新当前能带来的收益来评估该更新，但每次更新也会决定下一次更新的起点，因此一次更新的价值取决于还剩下多少学习空间。从这个角度看，交叉熵是一种“耐心的准确率”：它表示如果一个样本的对数优势比永远以单位速度增长，该样本将承担的总错误；而精确策略梯度则是零视界极限。将这一总量截断到剩余学习量，就得到视界损失；这一行代码般的改动使方法随着训练接近结束，从交叉熵逐渐转向精确策略梯度。在一个简单的分配模型中，可以证明它能够逃脱困住两个端点的陷阱。在 MNIST 以及采用 ResNet-50、ResNet-101 和 ViT-S/16 的 ImageNet 上，在固定学习率下，视界损失相较于交叉熵提高了 top-1 准确率，而且标签噪声越大，提升越明显。