将每个奖励分配给其相关 Token：面向多奖励 RL 的奖励特定 Token 级信用分配
Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL
精选理由
提出按奖励关联令牌分配信用的方法，提升多奖励强化学习训练效率与效果。
AI 摘要
arXiv:2610.21439v1 发布类型：新 摘要：语言模型越来越多地同时针对多个可验证奖励进行训练，例如工具调用的正确性和格式，或复杂指令中的各项独立约束。奖励解耦归一化（GDPO）分别对每个奖励进行归一化，使不同的奖励组合保留各自独特的优势，但它仍将每个奖励的优势均匀分配到整个响应中，尽管每个验证器只检查少数几个位置。我们提出 MRTPO，利用各验证器所检查的信息，将每个奖励的优势分配给与其相关的 Token，无需辅助模型或 Token 级标注。对于每个奖励，策略分别在有无该奖励验证器信息的情况下重放自身响应，并通过两个下一 Token 分布之间逐 Token 的 Jensen-Shannon 距离衡量每个 Token 的相关性，进而重新分配优势。在 text-to-SQL、多约束指令遵循和工具调用任务上，MRTPO 相较于对比方法收敛更快、性能更优。