跨智能体学习信号实现协同的角色分解式 LLM 训练
Cross-Agent Learning Signals Enable Coordinated Role-Decomposed LLM Training
精选理由
提出DAC协同训练搜索与生成角色，提升多跳问答性能并改善证据利用。
AI 摘要
arXiv:2606.10684v2 公告类型：替换 摘要：智能体搜索系统必须协调证据获取与响应生成，但现有方法要么将这两个角色置于单一智能体目标之下，要么进行角色分解，却未能厘清它们各自对最终结果的贡献。我们提出 DAC（Divide and Cooperate），这是一种角色分解式训练框架：在给定任务特定的外部验证信号后，利用针对角色的交叉验证奖励分别训练搜索器和生成器。DAC 允许生成器在检索到的证据似乎不足时选择弃答，并结合这一决策与外部评估的搜索充分性，为每个角色分配适当的信用。为防止过度弃答这一退化现象，我们进一步引入困难正例证据增强，以抑制模型在证据充分但具有挑战性的情况下弃答。在七个通用及多跳问答基准和两种模型骨干上，DAC 始终优于强大的单智能体和多智能体基线。受控评估表明，这些收益源于搜索与生成两方面的协同改进。我们的结果凸显了在训练智能体搜索系统时，明确且恰当地在交互角色之间分配信用的重要性。