ParanoiaEval：对智能编码中不必要防御性工作的基准评测

随着编码代理日益能够自主承担现实世界中的工作，判断其风险处置是否合理已变得至关重要。现有研究从不同角度评估代理的相关行为，但缺乏一个能够统一这些行为的系统性框架。为弥合这一空白，我们提出 ParanoiaEval，这是首个用于统一评估编码代理风险处置能力的基准。ParanoiaEval 以软件工程风险管理中成熟的“规避—转移—缓解—接受”框架为基础，将其中 4 种基本处置方式应用于编码代理场景，并包含 200 对受证据控制的仓库级任务，每对任务仅在定义处置方式的证据上存在差异。我们进一步针对风险处置违规和证据响应性提出专门指标，并使用经过人工校准的代理评审器进行可靠评估。在 8 个具有代表性的模型上开展的大规模实验，以及事后进行的人类研究表明：（I）尽管存在明确证据，不必要的风险处置仍出现在 11.2%–58.7% 的运行中，且不同代理配置之间存在显著差异；（II）更强的任务能力并不能确保更恰当的风险处置，而处置违规会严重损害开发者体验，这表明风险处置是一项独立的能力维度；（III）代理表现出与既有风险管理研究结果一致的系统性模式，说明人类实践中的知识可以指导对该能力的诊断与改进。