一个任务，多种接口：简单的跨接口一致性训练提升 LLM 智能体的鲁棒性

后训练将 LLM 智能体的能力与其训练时使用的接口绑定在一起。对该接口进行保持语义不变的扰动，例如重命名某个动作或改变表示法，虽然不会改变底层任务，却会使智能体在该任务上的表现变差。由于每个样本都被独立评分，接口随机化只是将这种依赖从单一接口扩展到训练接口的分布，因此分布外扰动仍会导致智能体性能下降。我们提出 Cross-Interface Policy Regularization（CIPR），这是一种自监督目标：它将动作名称替换为不含信息的标识符，并以两种接口呈现每个训练样本，且在构造时就明确了两种接口中等价动作的对应关系。CIPR 对两种接口下产生的动作分布之间的 KL 散度施加惩罚，从而使策略在不同接口间保持行为一致。我们在监督式后训练和强化学习后训练中评估了 CIPR，结果表明它在两种设置下都能提升鲁棒性。在智能体函数调用任务中，未在训练中出现的接口扰动使后训练智能体的准确率下降近 25%，而 CIPR 挽回了 10.5% 的准确率，同时保持未改动接口上的准确率不变。