SPADE：自适应合成可执行环境中的自博弈

持续的自我改进需要一个不断扩展的、由自身生成的、多样且自适应的目标池。对于语言智能体而言，现有的训练环境池（人工策划、静态合成或冻结验证器）会在学习者规模扩展时保持目标分布固定。我们提出 SPADE（Self-Play in Adaptive Synthetic Executable Environments），这是一个自博弈 RL 框架，其中单个 LLM 扮演两个角色：Environment Designer，负责将完整的长时程训练环境编写为带有 OpenAI Gym 风格 reset()/step() 接口的可执行代码；以及 Reasoning Agent，负责学习在这些环境中行动。每个环境都是有状态的多轮环境（包含状态转移、奖励函数和验证代码），因此一个接口即可涵盖推理问题和多步骤智能体式工具使用。Reasoning Agent 的遗憾值通过其在有无特权提示情况下的奖励差距来估计；在优化这一遗憾信号的过程中，Environment Designer 学会将环境定位在智能体能力边缘，同时保持其可行性。通过大量实验，我们发现若干组件对成功至关重要：基于从大型预训练语料库中采样的文档来为 Environment Designer 提供依据，并赋予其累积的环境记忆。扩展到 30B 参数模型时，SPADE 在八个保留的数学、科学、代码和推理基准上平均比最强固定环境基线提高 +5.3；在工具使用设置中，在 BFCL-v4 多轮上提升 +5.7，在 ACEBench-Agent 上提升 +13.9；在游戏设置中，相比最强基线的优势会随模型规模增长而扩大。通过使环境设计本身成为一个可学习组件，SPADE 朝着开放式自我改进迈出了具体一步。