Stateless Language Agents：扩展长时程自动化研究

arXiv:2610.07625v1 公告类型：新 摘要：自动化研究系统越来越多地让 LLM agents 在长时程任务中运行，但更多推理本身并不会带来更多进展：agents 会反复处理不断增长的历史记录，重复彼此的工作，或者在 token 消耗持续增加的同时停止实验。然而，大多数评估采用较短的预算或很快达到饱和的基准测试，使这些失效模式无法得到检验。我们将这些失效归因于两个选择：研究状态存放在哪里，以及由谁决定下一步尝试什么。我们提出 Stateless Language Agents（SLAs），其构建原则是“有状态的搜索、无状态的 agents”：任何 agent 都不会在多次调用之间携带其对话；相反，由 harness 持有研究状态（候选解及其测量结果），并在每次调用时重建全新且针对特定角色的上下文。每个 agent 能看到什么，成为一项明确的设计选择，而不再是随着运行过程不断增长的历史记录。我们在 SLA framework 中实现了这一原则：无状态的 Advisor 读取由 harness 汇总的、跨搜索方向的证据，并向并行 Workers 分配具体实验。我们在软件工程、内核优化和算法设计任务上，将 SLA 与三个近期 frameworks 进行评估，预算最高达十亿 tokens。SLA 在每项任务上都取得了最佳最终结果，并以少超过 84% 的 tokens 达到最强内核基线的最终性能。基于共享检查点的消融实验表明，聚焦的上下文和明确的任务分配分别促成了 SLA 的进展；在完整运行中，两者的效果还可能相互叠加，而 Advisor 消耗的 tokens 不到 0.6%。这些结果支持采用 SLAs：将持久的研究状态置于 agent 对话之外，并表明较短的评估时程可能会误判研究系统及其组件的能力。