信任,但要验证测量工具:在人工编写的安全回归代理测试上审计 AI 生成的 RTL 验证计划
Trust, but Validate the Instrument: Auditing AI-Generated RTL Verification Plans on Authored Security-Regression Proxies
精选理由
揭示AI生成验证计划从接口合规到可信执行的落差,并提供可审计基准与治理方法。
AI 摘要
arXiv:2609.19844v2 公告类型:replace-cross 摘要:AI 生成的 RTL 验证计划可能满足服务提供方的模式要求,却在进入可信执行环节的边界处失效。我们提出 SecTB-RTL,这是一个可审计的框架,涵盖 31 项任务和 124 个人工编写的硬件安全回归测试。在逐步提高资源限制的条件下,确定性的非 AI 基线分别杀死了 36、75 和 78 个变异体。首次确认性运行(C1-R2)在模型执行前便告失败,原因是服务提供方拒绝了其响应模式。在未查看结果的情况下仅修复模式后,一次单独冻结配置的后续运行(C1-R3)完成了 1,860 次调用。服务提供方接受了 1,857 个响应,但只有 9 个通过了生产环境语义验证器。生成规则与执行规则并不匹配。因此,我们将此次运行保留为一起测量工具验证事件,不报告任何提示词效应估计。该事件表明,服务提供方接受响应或响应符合模式,并不能证明其执行有效性。编译和覆盖率仅是诊断手段;实际保存的产物必须通过完整的生产执行流程。此后的一次跟进运行因未满足预注册的证据完整性门槛而被排除,仅作为未来工作处理。我们发布了该基准、保留失败信息的契约、事件溯源记录,以及防止将基础设施行为误报为模型行为所需的治理控制措施。