SynAct：面向 LLM 智能体的协同主动反馈学习

arXiv:2610.12651v1 公告类型：新论文 摘要：执行多步骤工作流的 LLM 智能体会以两种根本不同的方式失败：一种是可恢复的失误，可通过进一步尝试修正；另一种是知识缺口，无法通过重试解决。专家反馈可以弥补后者，但专家的注意力资源稀缺。因此，关键挑战不在于是否寻求反馈，而在于在哪些环节反馈能够改变结果。现有方法要么避开专家反馈，任由智能体强化自身错误；要么在任务层面分配反馈，却未能识别会对结果产生实质影响的决策。我们提出 SynAct，这是一种主动学习框架，将专家注意力视为关键制约因素，并在单个决策层面分配反馈。SynAct 根据重复执行轨迹中所选动作与最终结果之间的互信息对决策排序，在价值最高的决策处向专家征询意见，并将所得修正提炼为可迁移的规则，使智能体在部署时无需访问专家即可复用这些规则。我们从理论上刻画了这一信号在有限次重复采样下能够识别的内容：在 k 次执行轨迹、每个动作至少有 m 次观测的条件下，结果恒定的决策的互信息为零，而能够区分结果的决策的互信息至少为 H2(m/k) 比特，因此，对于区间 (0,H2(m/k)) 内的任意阈值 t，均可实现精确分离。这也解释了为什么在所有执行轨迹均失败时，基于成功与否的采集策略可能失去辨别能力：即使失败的运行产生了不同结果，成功与否这一变量仍保持恒定。在涵盖三个模型家族的四个模型和四项智能体基准测试中，SynAct 在全部 16 种评估设置下均提高了留出集准确率，平均提升 11.7 个百分点。同一信号还可迁移至推理时路由：在 16 种设置中的 15 种中，SynAct 优于预算相同的级联路由器、基于不确定性的路由器和专家评判路由器；同时，一次有针对性的修正优于额外进行七次无针对性的重试。