面向编码代理的紧凑文档：一个基准、一个优化器，以及它为何不能迁移

我们研究自然语言文档是否有助于编码代理解决软件问题，并构建用于生成和评估此类文档的工具。我们提出了一个往返基准：通过判断由代码描述重新生成的代码是否能通过原始测试，来为这些描述打分；并表明决定描述保真度的是完整性，而非长度。以该基准作为优化信号，我们发现了一个用于编写描述的提示，它能够达到完全保真，并可泛化到未见过的文件。随后，我们检验了推动这项工作的假设：更好的文档能帮助代理解决真实代码仓库中的问题。在两个模型家族和十个代码仓库上，并与一个确认我们的评估能够检测到真实改进的正向对照相比，我们发现事实并非如此。当源代码存在时，静态紧凑文档或检索到的上下文都无法优于仅使用问题本身。我们报告了这一负面结果，同时给出了该基准和优化器，并刻画了文档能够发挥作用的边界。