CAFE：自我改进的搜索代理需要协同演化的反馈

基于结果监督的搜索代理学习何时以及如何检索证据，但终端奖励既不能定位中间错误，也不能在这些错误累积之前重新引导正在进行的轨迹。将纠正性反馈视为一种在轨迹内学习到的干预，会把这两个角色耦合起来：代理必须决定何时请求并使用反馈，而评判器必须从结果混杂的 rollout 中推断出有用的修正，而这些 rollout 的失败模式会随着代理的改进而变化。我们提出 CAFE（Coupled Agent--Feedback Evolution），一个使共享参数模型在搜索代理和评判器角色之间交替切换的框架。CAFE 先从围绕基础代理自身失败构建的轨迹中初始化基于反馈的恢复，然后将在线和离线优化耦合起来。在在线 RL 期间，一种比较式反馈估计使用提示级别的 call--skip 成功差距来塑造请求回报，而感知反馈的优势塑形会在反馈前后重新加权 token 优势。在线下，基于 rollout 生成的偏好优化从匹配的成功和失败轨迹中学习反馈。在七个 agentic search 基准上，CAFE 平均优于所评估的基于 RL 的搜索代理，在全部六个域外基准上保持其增益，并减少答案级幻觉。单边消融表明，只改进代理或只改进评判器最终都会进入平台期，而交替进行这两种更新会持续提升性能。这些发现表明，自我改进的搜索代理需要与其所引导的策略共同演化的反馈。