评估用于可复现数据工程的本地语言模型代理：一项针对移动工作流的实证软件工程研究

arXiv:2610.11482v1 公告类型：cross 摘要：背景：大型语言模型（LLM）代理正日益被用作软件和数据工程助手，但关于可在本地部署的开放权重代理的证据仍然有限。现有评估通常侧重于文本响应或孤立的代码生成，而不是完整工程制品的有效性。目标：我们评估本地 LLM 代理能否生成正确且可复现的数据工程制品，量化闭环工作空间条件的影响，并考察模型规模、架构、量化、运行时、工具使用和失败之间的权衡。方法：我们引入了一个包含 15 项移动工作流任务的基准，涵盖数据发现、连接器、交通数据馈送处理、语义丰富、特征工程、验证、可视化和报告生成。确定性检查器用于评估生成的脚本、表格、结构化文件、图表和报告。在单次生成和闭环两种条件下，对 10 种本地配置进行评估；每种模型、模式和任务重复 5 次，在消费级 GPU 上共获得 1,500 次评分尝试。结果：在参数量超过 20 亿的模型中，与单次生成相比，工作空间条件使通过率提高了 26.7–52.0 个百分点。最强配置达到了 85.3% 的制品级成功率；一个经过量化的 90 亿参数模型在约 6.5 GB 的内存占用下达到了 69.3% 的成功率。当中间制品暴露出代理可以检查和修复的错误时，收益最大。结论：本地开放权重代理能够支持软件密集型数据工程工作中具有实际意义的一部分，但其可靠性取决于模型能力、任务可验证性和确定性验证。该基准为在工程工作流中采用代理配置之前评估完整代理配置提供了一种可复现的方法。