当批评者落后时：面向持续智能体自我改进的评价标准与 Harness 协同进化
When the Critic Falls Behind: Co-Evolving Rubrics and Harnesses for Continual Agent Self-Improvement
精选理由
提出规则与智能体运行框架协同进化，持续定位行为弱点，提升智能体自我改进能力及未知任务上的泛化表现。
AI 摘要
自主智能体越来越依赖围绕大型语言模型（LLM）管理交互、记忆、工具和执行的 Harness。尽管近期研究已开始根据执行经验演化这些 Harness，但用于指导演化的监督信号通常仍相对静态，因此难以跟踪不同轮次中不断变化的行为缺陷，并可能限制其对未见任务的泛化能力。为解决这一问题，我们提出 RuHarness，一种面向持续智能体自我改进的评价标准—Harness 协同进化框架。RuHarness 持续从执行轨迹中发现并重新评估行为标准，优先处理最相关且尚未解决的缺陷，并利用这些标准指导有针对性的 Harness 更新，同时保持任务目标不变。在多样化的智能体任务和骨干模型上开展的大量实验表明，RuHarness 优于强大的 Harness 演化基线，尤其是在未见的留出任务上。进一步分析表明，自适应的评价标准优先级排序能够跟踪不断变化的缺陷，并在多个演化轮次中支持更持续的改进和更稳定的泛化能力。