SWE-DIVE：使用动态用户模拟进行多轮编码代理评估
SWE-DIVE: Multi-Turn Coding Agent Evaluation with Dynamic User Simulation
精选理由
提供动态多轮交互评测框架，助力更真实地验证编程智能体能力
AI 摘要
编码代理通常使用一次性、表述完善的提示进行评估。SWE-bench 等基准测试将现有的 GitHub issue 作为编码代理的输入，并评估代理是否成功解决任务。然而，在实际使用场景中，提示往往不像现有 GitHub issue 那样表述完善或结构清晰。此外，编码代理会话并不局限于单个提示；它通常包含多轮交互，用户在交互过程中会不断添加代理必须完成的新任务和要求。为评估这些能力，我们开发了 SWE-DIVE，这是一种动态交互式验证与评估框架，用于在多轮环境中对编码代理进行基准测试。为此，我们引入了一个用户模拟器，用于模拟不同的行为模式并与编码代理进行沟通。我们还引入了一个对话验证器，用于评估用户模拟器的输出，以确定这些输出是否满足初始要求，并引导代理成功解决任务。整个框架嵌入在 Harbor 环境中，由其协调编码代理、用户模拟器和对话验证器，并执行测试环境，以确定代理是否成功解决任务。我们的结果和源代码已发布在 GitHub 仓库中（https://github.com/lorenzbrehme/swe-dive_usersim）。