ServeLearnBench：智能体能够在多大程度上从服务经验中自我改进？

arXiv:2610.07792v1 发布类型：new 摘要：大型语言模型智能体正越来越多地被部署用于在现实环境中执行复杂任务。然而，在这些环境中实现正确行为所需的知识往往是隐含的、未公开的，并且会随时间变化。近期的持续学习框架试图通过让智能体从服务经验中不断改进来应对这一挑战。然而，这些方法的有效性与局限性尚未得到充分刻画。现有基准只能覆盖部分情况：有些基准明确提供目标知识，有些假设环境是静态的，而支持持续适应的基准在规模和知识多样性方面仍然有限。为实现系统性评估，我们形式化提出了演化环境流式数据集（EESD）：在该数据集中，随着隐藏策略不断演化，智能体必须根据交互和结果反馈推断、应用并修订潜在的环境知识；同时，我们引入了 ServeLearnBench，涵盖零售支持、银行业务和销售话术生成等场景，包括 53 个环境窗口和 7,718 项任务。我们在六个模型（GPT-5.6 Terra、Opus 5、Kimi K3、GLM-5.3、DeepSeek V4.1 Flash 和 GLM-5.3 Flash）上评估了五种学习框架（RAG、Mem0、SkillOpt、Continual Harness 和 Prime），覆盖 28 个模型—框架组合和 252 次学习运行。评估揭示了三个主要发现：任务能力与从经验中学习的能力之间仍存在显著差距；持续适应代价高昂，并且可能损害原本正确的行为；探索不足是实现有效适应的关键瓶颈。总体而言，ServeLearnBench 提供了一个受控测试平台，用于诊断这些局限，并跟踪智能体通过服务经验持续、可靠地改进这一目标的进展。