GTDD：通过对抗性测试为 AI 编码代理实现生成式测试驱动开发

arXiv:2610.02952v1 公告类型：cross 摘要：测试驱动开发为 AI 编码代理实现软件提供了可执行的需求。由于这些代理能够调整其实现以适应所观察到的示例，通过预先确定的测试集合并不能保证预期行为的大部分内容都已实现。我们提出生成式测试驱动开发（GTDD），这是一种测试驱动开发形式：每当候选实现确定后，由独立的测试代理根据人为指定的行为契约和早期轮次的反馈生成新的输入。受信任的评估器检查这些输入，将经过约减的反例返回给编码代理，并将其保存用于回归测试，从而使开发过程持续面对初始示例之外的失败。我们通过对自适应候选选择下错误接受的有限总体分析，刻画这一过程所提供的证据。所得界限量化了测试可见性和重复反馈如何影响接受结果，并表明，在候选实现确定后进行新的随机审计，可以控制各开发轮次中的错误接受。在一个有状态键值存储上的配对实验中，两种在开发过程中重新生成测试的策略，其最终平均失败率都低于使用同一语言模型一次性生成测试的策略；而将候选实现的源代码提供给测试代理，并未带来可检测的额外改进。进一步要求测试数量相等的条件，未能将这种差异归因于这些策略中的任何单一特征。GTDD 将这种自适应开发反馈与既有回归测试及独立的接受规则相结合。