arXiv cs.AI精选76

Poison Valleys:诊断 LLM 代码修复中的路径依赖性失败

Poison Valleys: Diagnosing Path-Dependent Failure in LLM Code Repair

· 18小时前

精选理由

揭示代码修复中错误假设如何沿决策路径演变为具体故障,为诊断与改进智能体提供依据。

AI 摘要

当代码修复智能体失败时,最终测试能够揭示补丁有误,却无法指出是哪一个早期决策导致了错误,也无法说明哪项软件要求未得到满足。Poison Valleys 通过两个合成 Python 案例中的 1,844 次模型请求追踪这一路径:PersistQueue 为磁盘支持的队列添加原子批量领取功能,而 Dijkstra 为最短路径搜索添加依赖源点的过滤功能。我们定义了看似合理但实际错误的软件机制,将每种机制置于模型的假设、实现计划或两者之中,并使用 Oracle 和有针对性的诊断维度评估生成的代码。在匹配实验条件组合后,将错误认知从假设移至计划,使 PersistQueue 和 Dijkstra 的失败率分别增加了 32.2% 和 28.9%。不同的错误认知产生了各异且依赖于模型的软件要求违反模式,尽管其中若干种可能最终导致相同行为。这在上游错误认知、代码机制与失败形式之间建立了经测量验证的联系。代码、数据和演示:https://poisonvalleys.org。

查看原文(arXiv cs.AI)