DRACO：利用动态评分细则进行细粒度信用分配，以用于长程智能体训练

当任务存在程序化检查器时，基于可验证奖励的强化学习效果很好，但大多数长程智能体领域并没有这类检查器。我们研究结果不可见设置，即无法获得真实成功信号的情形。多标准评分细则是一种常见的奖励提供方式；它们对每条轨迹只评分一次，但单一标量对于跨越数十步的过程来说是较差的信号。我们提出 DRACO：Distributing Rubric-based Advantage for Credit Optimization。它在训练期间动态生成评分细则，以跟踪策略不断演化的能力；在每条完整轨迹结束后对这些评分细则打分，并将该判断重新分配到负责这些已标注评分细则的步骤上，从而在 GRPO 中生成区分化的逐步优势。该重新分配具有闭式形式，不引入任何经过训练的归因模块。在 AppWorld 上，DRACO 比基础模型提升 15.9 分，且即使自身不使用任何验证器，也比使用稀疏真实奖励训练的 GRPO 高 5.3 分。在域外的 Tau-Bench 上，即使没有 frontier judge，它也比基础模型高 5.3 分，优于真实奖励训练和其他基于评分细则的训练设置。DRACO 的代码可见于 https://github.com/IBM/draco。