DARE：用于增强修复能力的难度分析

基于大语言模型（LLM）的编码智能体主要以任务解决率进行评估。然而，这一指标既无法揭示已解决任务的难度，也未考虑不同基准测试之间的任务难度差异。通过反复运行多个智能体来确定各个任务的难度，成本高昂；而单独的预测难度分数，对于智能体需要何种支持也只能提供有限的指导。为应对这些挑战，我们提出了 DARE（用于增强修复能力的难度分析），将修复任务难度测量、预测、特征组贡献分析和针对特定任务的修复支持整合在一起。我们将连续值任务难度定义为多个编码智能体在该任务上的观测失败率。DARE 难度模型利用从基准测试相关材料中提取的 151 个静态特征来预测这一难度。该框架还分析七个修复任务特征组的贡献，以识别对各个任务最显著的特征，并利用这些信息选择针对特定任务的智能体支持。我们在包含 2,594 个任务的四个基准测试分区上评估了 DARE。在留出的分区上，难度模型经对齐的预测结果达到 Spearman's $ρ$ = .476–.621，且最显著的特征组因任务和基准测试而异。此外，编码智能体实验表明，当支持措施与各个任务的显著特征组相匹配时，修复成功率会提高。这些发现表明，难度预测与解释能够切实改进自动程序修复（APR），同时也为按难度分层的智能体评估、跨基准测试比较，以及识别有待进一步提升的修复能力领域提供依据。