ServerBench：你的编程智能体如何设计专用 LLM 推理服务系统？

大语言模型（LLM）编程智能体通过实验开发软件，这为其设计支撑自身运行的推理服务系统提供了机会。高效的推理服务需要在会话依赖、延迟约束和正确性要求下，协调实现方案与运行决策。我们提出 ServerBench，这是一个用于评测智能体设计完整、专用 LLM 推理服务系统能力的基准。智能体围绕统一目标开展实验，即每美元回报：每美元 GPU 成本所产生的、满足延迟要求的词元价值。有状态回放保留会话依赖，独立验证则检查提交的系统。在涵盖 11 个编程智能体模型和三种部署配置的评测中，Claude Sonnet 5.5 在 Gemma E4B 上实现了每美元 2.97 美元的回报，是 vLLM 参考系统的 $4.87\times$；33 次运行中有 22 次产出了通过验证的系统，其中 13 次超过了最强基线。我们的分析得出三项发现：高价值设计会将容量提升与负载选择相协调；智能体通过与工作负载相关的实验解读性能反馈；可靠交付需要验证优化所引入的执行路径。总体而言，ServerBench 支持系统性地研究智能体如何针对给定任务规范，将服务目标和反馈转化为高效且经过验证的推理服务系统。