arXiv cs.AI精选75

覆盖,而非定向:多轮 Agent 信用分配中的一种结构性范式

Coverage, Not Targeting: A Structural Regime in Multi-Turn Agent Credit Assignment

· 41天前

精选理由

提示多轮智能体RL应重视全链路覆盖而非单点定位

AI 摘要

多轮 Agentic RL 越来越把信用分配视为一个定向问题:给定一个终态可验证奖励,逐轮方法会把信用定位到那些起作用的轮次上。我们识别出一个能预测何时这才是正确做法的结构量:验证器信息密度 V_d = k/C(验证器暴露了一个 Agent 的 C 步因果链中多少比例的逐轮正确性),并表明终态验证器深处于低 V_d 区域,在这里定向不是正确的着力点。在 tau^2-bench 上进行受控的共享 rollout 对比、并将奖励密度与信用几何分离之后,我们发现:将连续稠密奖励均匀铺开,比稀疏的二元结果奖励更优(在 4/5 个 seeds 上净有害);而把同样的优势集中到进度轮次上,或集中到随机轮次上,同样有害:定向只是次要因素。其机制在于覆盖:终态验证把可观测信号压缩到单一的最终写入轮次(在 98% 的 rollouts 中 k=1),而成功却需要一个 5-8 步的前置工具调用链。一个合成相边界把交叉点放在 V_d* ~ 0.8,而在 tau^2-bench 上测得的 V_d 约为 0.15,在 BFCL V3 上约为 0.4;在 BFCL 上,均匀分配同样获胜,而一个匹配浓度的打乱对照在 8/8 个 seeds 上为负。该效应在 ToolACE-2-8B 的不同模型家族上也能复现(Delta = -0.048,基于 32 个预注册 seeds;独立的 20-seed 复现本身也显著),而一个预注册的匹配预算广度扫描描绘出单调的剂量-反应曲线,其缺口只有在全链路覆盖时才会消失,其中一个 reward-to-go 分支达到了与全覆盖持平。均匀重分配是零信息的覆盖默认方案,逐轮方案必须优于它;我们贡献了匹配浓度的打乱对照,任何定向主张都应先通过这一检验。

查看原文(arXiv cs.AI)