Harness-S：从同源 Harness 中学习以实现可泛化的智能体训练
Harness-S: Learning from Sibling Harnesses for Generalizable Agent Training
精选理由
通过多样化辅助执行框架挽救失败轨迹，提升智能体训练的泛化能力与推理表现。
AI 摘要
从共同基础演化而来的 Harness 具有局部性、互补性和非平稳性：不同变体能够修复不同的失败，而它们的效用会随着策略学习而变化。我们不再寻求一个普遍更优的 Harness，而是提出 Harness-S，通过同源 Harness 有选择地挽救基础执行系统中的失败，并将由此获得的能力迁移到一个在原始 Harness 下仍然有效的单一策略中。定向 Harness 演化沿着不同的修复方向开发专用的同源 Harness，形成一个在策略训练期间保持固定、可重复使用的同源 Harness 池。互补 Harness 救援训练仅在基础 Harness 下的所有初始尝试均失败时调用该池。相同的策略在选定的辅助 Harness 下生成新的 rollout，并用这些轨迹替换失败的轨迹组，以进行强化学习。自适应 Harness 路由器利用 Harness 行为画像，并通过多个 LLM 的投票选择 Top-k 变体。策略感知的画像重新锚定机制会随着策略学习不断刷新这些证据。在 AppWorld、SWE-Gym 和 DBBench 上，将训练后的策略返回原始基础 Harness 时，其性能显著优于仅进行策略训练的方案。行为分析和留出案例表明，由 Harness 诱导出的行为能够迁移到策略本身。将该路由器复用于 Rank-1 推理，可在执行器 rollout 次数相同的情况下进一步提升性能。