可复现的 LLM 推理基准测试：用于回归测试的顺序隔离协议

arXiv:2610.09778v1 公告类型：交叉收录 摘要：大语言模型（LLM）推理的可复现基准测试面临挑战，因为重复测量结果可能随执行状态和系统状态而变化。我们提出了顺序隔离方法，这是一种受控的基准测试与回归测试协议，旨在有意改变工作负载并发度的同时，降低不同运行之间的测量方差。我们使用 vLLM 0.9.1，在 NVIDIA A100 80GB GPU 上评估了三个具有代表性的开源 LLM，覆盖六种上下文长度和八个并发级别，每种配置重复测试五次。最终协议将平均变异系数（CV）从控制最少的方法阶段的 15.2% 降至 2.2%；根据每种配置五次重复测试各自的首 token 延迟（TTFT）中位数（P50）计算 CV，144 种配置中有 113 种（78.5%）的 CV 低于 3%。测量结果还表明，在受测技术栈上，并发用户数从 200 增至 500 时出现了明显的延迟跃变，且三个模型的 P99 延迟呈现出描述性差异。此外，我们还提供了一个显式的成本盈亏平衡模型，并分析其对 API 定价的敏感性。该协议旨在为可复现比较和回归测试提供稳定的参考，而非预测不受控生产流量下的绝对表现。基础设施即代码和基准测试脚本支持复现实验环境。