SEIS：自我演化推理系统

推理系统决定语言模型服务的速度和成本，因此提升其速度具有直接的实际价值。然而，既有工作主要专注于优化大型系统中的特定部分，例如内核或内存。在本文中，我们采取整体性方法，应用智能体自我演化来端到端地优化整个系统。我们的 SEIS（自我演化推理系统）通过继承经验和代码变更的迭代会话，在无需人工干预的情况下自主优化整个 mini-sglang 引擎。在 H100 上服务 Qwen3-0.6B 时，最终引擎的吞吐量达到原始 mini-sglang 实现的 3.27 倍，并且在单请求工作负载下击败了 vLLM、TensorRT-LLM 和 SGLang 等 SOTA 引擎。我们从数值差异以及数学和长上下文检索任务上的下游准确率两个方面，测试了经 SEIS 优化的推理引擎的正确性。代码和会话历史表明，加速效果源于对整个引擎的重新设计，并且在早期会话成果的基础上继续构建优于彼此独立的尝试。这些结果表明，智能体自我演化能够端到端地优化复杂系统。评测也必须随着引擎一同演化，而让智能体推动评测演化是自然的下一步。