先测量，再分配：强化学习中面向 MCP Agents 的校准式 rollout 预算
Measure First, Then Allocate: Calibrated Rollout Budgets for MCP Agents in Reinforcement Learning
精选理由
介绍预先预测奖励差异并按需分配Rollout预算的方法，提升工具型模型训练效率。
AI 摘要
arXiv:2610.28785v1 公告类型：new 摘要：训练使用工具的语言模型需要高昂的交互成本，然而在同一 rollout 组中，奖励相同无法提供组内相对学习信号。我们利用奖励分歧来指导 MCP 环境中的 harness 评估以及策略训练的 rollout 分配。我们首先提出 Discord，它通过精确的成对推理和保持决策的提前停止来测试 harness 修改：只有成对结果存在分歧且偏向某个 harness 时，才支持该 harness 优于另一个 harness。这一洞见促成了 BRACE（Bank-calibrated Rollout Allocation under Correlated Episodes，相关回合下基于样本库校准的 Rollout 分配）。BRACE 综合历史任务证据、任务成功率的不确定性以及相关奖励模型，在分配生成预算之前预测混合奖励组。受控 harness 实验表明 Discord 更具优势，而在线 MCP 实验揭示了留存成本之间的权衡。在三种 Qwen3-VL 模型规模上，BRACE 以更少的新训练 rollout 超过了图中最强基线的峰值；历史样本库的收集单独计入。无需进一步训练，BRACE 在 BFCL 和 NESTFUL 上也领先于所比较的方法。消融实验探究了样本库、估计器和分配评分；前瞻性评估检验了预测校准性。这些结果支持在生成之前预测奖励对比。