动作塑形：策略吸收其能够表达的内容

arXiv:2609.32752v2 公告类型：替换并交叉列出 摘要：奖励塑形有一条定理：移除基于势函数的项不会改变最优策略。在动作通道上采用同样的做法，即在训练时添加偏移、在部署时将其移除，却没有相应的定理。没有任何机制能抵消动作偏移，因此，这一修正要么在部署时保留，要么在没有保证的情况下移除。我们将其称为动作塑形，并阐明其原理。可训练策略会吸收其自身输出层能够精确复现的偏移，这就是我们所说的“表达”；被吸收的部分可以移除，而回报保持不变。其最简实例是在一个通过学习得到的动作价值函数进行训练的行动者上，添加一个由可学习门控控制、零初始化的线性头，不使用惩罚项或调度机制。对于确定性和随机性行动者，门控值都会自行先升后降；在20项任务中，移除该头几乎不造成损失。条件在于精确复现，而非容量：参数更多的非线性头并不会被吸收；在配对对照实验中，向非线性基础头添加一条线性路径便恢复了吸收能力。精确复现使损失函数具有一个平坦方向，梯度噪声会促使参数沿该方向漂移，而偏移的幅度则能在移除之前指示移除该头将付出多大代价。因此，动作塑形获得了与奖励塑形定理相对应的结论：吸收发生的条件，以及其背后的机制和用于判读吸收情况的诊断指标。策略只会吸收其能够表达的内容，仅此而已。