打破环境壁垒:为递归式自我改进演进 LLM Agent 环境
Breaking the Environment Wall: Evolving LLM Agent Environments for Recursive Self-Improvement
精选理由
揭示环境进化如何提升LLM智能体应对噪声与动态任务的能力。
AI 摘要
许多现实世界任务(例如办公流程、科学实验)要求 LLM Agent 与环境反复交互,以执行依赖上下文的操作。然而,这类环境通常并未针对 Agent 做好准备。首先,信息往往分散在环境的各处,彼此碎片化。其次,环境中的相关证据经常与误导性信息和相互冲突的版本混杂在一起。第三,环境会随时间演进,引入新的噪声和更具挑战性的任务。这些挑战会显著降低先进 AI Agent 的性能(例如从 83.9% 降至 57.6%)。为应对这些挑战,我们提出了 Env-Rethink(一个搭载 27B post-trained model 的系统),支持三项主要能力:(1)自适应地构建 Collection Maps(用于组织相关文件)和 Event Logs(用于梳理跨数据关系),以补充必要的上下文;(2)进一步利用 post-trained model(通过离线轨迹学习)识别环境中潜在的噪声问题;(3)最终通过虚拟事件历史演进环境,改变环境状态及证据关系,从而生成更具迷惑性的环境,进一步促进 Agent 改进。实验表明,Env-Rethink 能够有效提升下游任务性能(在 30 个任务、九个模型上,rubric pass rate 提升超过 15.1%)。