面向长时域决策的成本感知型 LLM Agent 选择性批评

arXiv:2610.07335v1 公告类型：新 摘要：提升大型语言模型（LLM）Agent 在长时域决策中的可靠性仍是一项关键挑战。当以自主 Agent 的形式部署并与复杂环境交互时，早期错误可能沿轨迹传播并引发级联失效。近期方法通过引入外部批评或审议来提升可靠性，但在每一步都调用这些机制会显著增加 token 消耗和延迟，从而限制实际部署。我们提出 SAG（带门控批评的自我改进 Agent），这是一个成本感知框架，将批评调用形式化为长时域交互过程中的逐步决策问题。SAG 引入了一种轻量级、无需训练的门控机制，通过在可执行动作上计算动作级歧义信号——全局熵和局部前二名间隔——来估计批评的效用。从决策理论的角度看，该机制近似估计了批评的信息价值（Value of Information，VoI），使 Agent 能够仅在预期收益足以抵消成本时选择性地分配昂贵的反馈。SAG 还融入了在线自助式自我改进，使执行器能够内化批评器辅助的行为，并逐步减少对批评的依赖。在三个长时域交互基准和多个骨干模型上，与无批评 Agent 和始终启用批评的 Agent 相比，SAG 显著改善了性能与成本之间的权衡。在 ALFWorld 上，SAG 将任务成功率从 24.6% 提升至 78.4%，同时保持与 ReAct 相当的 token 预算，使归一化 token 效率提高了 3.1 倍。此外，一个配备轻量级 3B 批评器的 7B 执行器达到了与无需批评的 14B 执行器相当的性能，表明选择性批评能够在大幅降低推理成本的同时，恢复审议机制带来的大部分可靠性收益。