UserProxyBench：评估用于智能体基准测试和训练的 LLM 用户模拟器

交互式智能体基准测试和多轮强化学习日益将第二个语言模型置于用户角色。这个模拟用户控制智能体接收哪些信息以及何时接收，但当前基准测试只对智能体进行评分，并不直接衡量用户是否正确履行了分配给它的角色。我们提出了 UserProxyBench——一个覆盖 tau-bench 系列的评估层，以及 User Fidelity Score (UFS)——该指标依据以任务为基础的评分标准，独立于智能体是否成功，衡量用户是否遵循基准测试中的私有用户指令。在将智能体固定为 GPT-5.5、仅改变用户代理的情况下，在 375 项企业任务上，平均任务奖励会改变 15.2 分；此外，24.4% 的成功回合包含违反用户规范的行为。最主要的失败模式是过早披露：用户在被请求之前就提供信息。这种行为对任务奖励影响很小，但在成功回合中，它会导致智能体平均少调用 1.06 次工具，从而在保持奖励不变的同时改变被评估的交互过程。最后，我们在七个代理之间确定了经验性的成本—保真度前沿，使实践者能够选择满足所需保真度水平的成本最低的模拟器。