面向嵌入式软件开发的 LLM 智能体闭环评估

arXiv:2610.11447v1 公告类型：cross 摘要：大型语言模型（LLM）正日益被部署为编码智能体，用于编辑文件、运行构建和测试、检查执行结果，并迭代修复软件。嵌入式固件是一个要求很高的目标，因为正确性不仅取决于静态源代码质量，还取决于在感知、时序和安全约束下的闭环行为。然而，目前对嵌入式智能体的评估仍然有限，且通常侧重于一次性生成或离线正确性。我们提出了一个用于闭环评估嵌入式编码智能体的基准。每项任务都提供纯文本工程描述、受约束的工作空间，以及可见的构建与运行时接口。智能体必须将需求转化为实现和自验证步骤，然后持续迭代，直到实现所要求的设备行为。该测试集包含五项嵌入式控制任务和四种反馈场景：一次性生成、真实的自验证、CI 风格的红/绿反馈，以及 oracle 风格的详细反馈。为确保可复现性，实现目标为模拟的 ESP32 固件。我们在五项任务和四种场景下评估了七种 GPT-family 和 Qwen-family 配置，每种条件重复三次，共进行 420 次运行。gpt-5.4 在所评估的配置中通过率最高，但尚未达到该基准的饱和水平；qwen3.5-27B 是观测到的最强本地模型；而规模更小的本地模型在通过率和搜索效率方面均显著下降。这些结果表明，能力出色的本地嵌入式编码智能体正在逐渐出现。