超越 QASecClaw：智能体扩展、验证器反馈与软件保障中的证据可靠性

当确定性工具证据已经可用时，增加专门的语言模型上下文能否改善软件保障？我们通过五项实验研究了这一问题，涵盖人工编写的 Java 警告控制、OWASP Benchmark 评估、Defects4J 测试生成、SV-COMP 断言判定，以及蓄意误导性的证据包。所评估的系统使用 Qwen2.5-Coder-7B-Instruct，并通过 1.5B 模型进行敏感性分析，共完成 13,638 次模型请求。在八个相关开发警告上，将上下文数量从 1 增加到 50，使 token 使用量增加 49 倍，却没有改善不安全项的放行情况。在 160 个 OWASP 案例上，不同模型配置在放行与未解决结果之间进行权衡；十上下文配置只评估了 96 个案例。在 32 个 SV-COMP 任务上，原始验证器反馈使模型平均正确判定数从 12.7 提升至 22.0，但错误判定数也从 1 个增加到 7 个；JBMC 加 JVM 验证基线返回 26 个正确判定和 6 个未解决结果。在两组各含 120 个证据包的数据上，模型拒绝了 70%–100% 的适用反例，而针对构造的范围检查则正确分类了每一个证据包。在三个 Defects4J 缺陷中没有发现目标缺陷，其中一个缺陷不受测试适配器支持。这些描述性结果支持在所测试的设置中采用确定性的证据准入机制，同时也揭示了判定聚合、反馈解读以及现有评估覆盖范围的局限性。