FDE-Bench：评估用于部署环境配置的 LLM 智能体

部署要求智能体将应用程序代码转化为一个正在运行的系统，使其服务能够连接、就绪并保持可观测。FDE-Bench 通过 136 个部署配置任务评估这一能力，涵盖 Docker 镜像、多服务 Compose 栈和 Kubernetes，并包括全新构建模式以及诊断与修复模式。智能体提交声明式制品，这些制品会在一个干净环境中被收集、重新构建并重新部署。四个带门控的二元检查层衡量构建、就绪性、行为以及对部署规范的符合性，使用程序化检查而不依赖 LLM 评判器。一个四臂发布门槛要求存在可解决任务的参考方案，并拒绝那些可由无操作、规范转录或通用桩提交解决的任务。发布的检查注释揭示了 2,145 项检查与其规范之间的关联，包括七个已记录的缺口。另有三种对抗性策略测试评分信号中的捷径；它们未能解决其覆盖的 135 个任务中的任何一个，而一个空洞的健康探针通过了就绪性检查，并暴露出下游检查的必要性。在 136 个任务的评估网格上，来自四家提供商的七个语言模型使用相同的四工具脚手架，解决了 52.9% 至 75.0% 的任务。三个零智能下限没有解决任何任务，平均 Deployment Score 最高仅为 0.44。就绪性是最大的失败阶段，在 313 个未解决回合中占 110 个。修复任务组的平均解决率比互不重叠的全新构建任务组高 30.7 个百分点，且每个模型都呈现正差距；有十个任务所有七个模型都无法解决。在一个 25 个任务的案例研究中，一名执业工程师指导 Claude-Sonnet-5 解决了 92% 的任务，而自主基线为 72%。FDE-Bench 将部署成功与失败关联到可检查和可重放的制品。