经策略验证的自训练：从可验证的策略奖励中学习智能体合规行为

arXiv:2610.19372v1 公告类型：新论文 摘要：运行时策略验证器可以阻止智能体执行不被允许的操作，但其判定通常仅用于强制执行策略，随后便被丢弃。我们探讨这些判定能否转化为可验证的策略奖励，用于训练其所保护的智能体。我们提出 Policy-Verified Self-Training（PVST），这是一种后训练范式：智能体自行生成交互轨迹，再由可执行的策略验证器评估每项操作是否合规；本文中的验证器是根据书面策略编译而成的确定性门控机制。合规轨迹得到强化，违规轨迹则成为偏好优化的负样本；除门控机制和基准的任务成功信号外，PVST 不需要更强的教师模型、人工偏好标签或针对特定攻击的监督，不过轨迹是在基准中遭受攻击的环境下采集的。在受到提示注入攻击的 AgentDojo 留出任务上，对 Qwen3-8B 进行经策略验证的偏好训练后，违规轨迹比例从 37.2% 降至 10.3 $\pm$ 0.9%（三个随机种子），攻击成功率从 12.4% 降至 0.5%，同时汇总任务效用保持不变或有所提高，但旅行类任务的效用有所下降。相比之下，使用攻击预言机选择负样本时，违规轨迹比例为 22.0%；使用不包含违规行为的负样本时，该比例为 31.9 $\pm$ 0.9%。习得的行为在训练中从未使用过的攻击模板下依然有效（违规轨迹比例从 37.7% 降至 11.0%），在未纳入训练的测试套件上也同样有效（从 34.8% 降至 16.7%）；保留的验证器的干预率则从 39.2% 降至 8.8%（随机种子为 0）。我们的分析指出了验证判定最具信息价值的两个条件：任务成功本身不能已经意味着合规，而且受保护的操作必须同时出现在允许和禁止执行的情境中。