限制模型，忽视系统：进攻性 AI 治理中的衡量与问责

arXiv:2605.09504v3 公告类型：替换并交叉列出 摘要：我们表明，用于衡量 AI 进攻能力的工具存在两方面缺陷：（i）夸大危害；（ii）将属于外围系统的能力归功于模型。因此，我们认为，限制对模型的访问是必要的，但并不充分，政策制定和采购也需要以实际危害为依据的系统级能力评估。2026 年 6 月，两个前沿模型因美国出口管制而被暂停提供，据报道，此举由一次要求模型阅读代码库并修复其缺陷的越狱所引发。这一发现衡量的是由模型、提示和任务组成的能力诱导系统。我们通过对一个开源框架的研究来支持这一论点，该框架中的轻量级大语言模型（LLM）智能体通过共享记忆和演化优化进行协调，提供了两项证据。首先，越狱指标夸大了危害：针对每个目标开展的 225 次群体生成攻击中，以 LLM 作为评判者的评分认定 Claude Sonnet 4 在 40% 的攻击中被攻破，但人工核验未在任何一次攻击中发现可付诸行动的有害内容，相比之下，GPT-4o 的有效危害率为 45.8%。其次，借助脚手架的评估会错误归因能力：在一个植入漏洞的目标上，围绕一个 12 亿参数模型构建的完整流水线发现了全部 9 个弱点，而同一模型在移除人工精心设计的组件后，以崩溃验证为标准时一个弱点也未发现，以引用源代码行为标准时则发现了 9 个弱点中的 2 个。进攻能力是模型、脚手架和评估协议共同构成的属性。评估责任应由控制系统、塑造其行为并能预见其行为后果的一方承担。在我们的场景中，这一方就是围绕模型构建配套运行框架的主体，而现行监管尚未明确涵盖这一角色。