提交之间：完全由 AI 编写的代码库中的流程、错误与论断可靠性
Between the Commits: Process, Error, and Claim Reliability in a Wholly AI-Authored Codebase
精选理由
揭示纯AI编程中的错误风险与可靠性边界，为评估和改进AI软件开发提供实证依据
AI 摘要
我们介绍：（i）一个新数据集，其中包含由 Claude AI 完全构建的 21,000 行 Python 工具的完整开发历史，且不含任何人类编写的代码或测试；（ii）两个代码来源追踪工具；（iii）三个分别针对指令意图、提交来源和响应可靠性的分类体系；（iv）将这些工具和分类体系应用于数据集分析。我们发现：（i）用户通过 coding agent CLI 发出的指令与 IDE-chat 指令在性质上有所不同，前者更加注重理解、规划和咨询；（ii）代码开发主要是主动进行的；（iii）14.3% 的 AI 代码生成事件包含一个后来被 AI 编写的测试套件捕获的真实错误；（iv）AI 的交互式响应中大约每 4 至 5 条就有 1 条包含一个或多个事实性错误。