RRSI：Agent Harnesses 的正则化递归自我改进

LLM agent 的能力在很大程度上会被其 harness 放大，即围绕冻结骨干模型的提示、控制流、工具、记忆和上下文管理。近期方法越来越多地通过迭代提出并选择 agent harness 的组件级编辑来自动化这一过程，实际上在 agent-system 层面建立了一种递归自我改进（RSI）形式。然而，这种递归演化可能会通过记忆训练任务而过拟合，表现为分布内收益很大，但在分布外基准上缩小甚至消失。我们提出 Agent Harnesses 的正则化递归自我改进（RRSI），通过约束演化候选的提出和选择，将正则化原则纳入 harness 自我改进中。提出器以时间退火的预算运行，限制一个候选可以捆绑多少编辑，并基于演化历史鼓励未探索的轨迹。选择器配备了一个 critic 和一个 pruner：critic 筛查特定于基准的提案，而 pruner 移除过小、过昂贵或不再有用的更改。这些约束共同偏向可复用的 agent 机制，而不是特定于基准的机制，甚至噪声。在涵盖编码、agentic workspace 和工程设计任务的八个基准上，RRSI 在其演化所针对的划分上最多提升 14.1 个百分点，并在五个分布外基准上最多提升 4.7 个百分点，同时生成的 harness 运行时使用的 policy tokens 比未正则化演化少 30%。代码可在 https://github.com/google-research/rrsi 获取，项目页面为 https://regularized-rsi.com/。