LLM 智能体能胜任前线部署工程师吗？面向企业文本转 SQL 的需求挖掘与交付

LLM 编码智能体越来越能够自动完成模型后训练，但它们能否充当前线部署工程师（FDE）智能体，挖掘客户需求并将其转化为部署决策，仍不明确。我们在一个真实的企业文本转 SQL 项目中研究了这一问题：模拟客户以真实用例的需求为依据，从一个模糊的请求开始。智能体必须在需求挖掘阶段明确验收标准、数据权限和硬件约束，然后在交付阶段规划并执行后训练方案。在 15 个模型中，表现最强的模型能发现超过 80% 的未预先披露需求，开放权重模型则能发现 40%–50%；在交付阶段，八种编码智能体配置的所有运行中，仅有 25% 通过了全部验收标准。我们识别出该项目中的四个瓶颈：（1）需求挖掘不完整，40% 的未预先披露需求被遗漏或误解；（2）执行不可靠；（3）计算预算利用不足，且缺乏对不同基础模型和后训练方法的系统性比较；（4）基准测试准确率并不能保证满足生产部署要求。我们建议对挖掘出的需求进行人工审核，在执行过程中监控智能体的计划，并明确制定涵盖硬件、预算范围和生产环境检查的实验环境规范。