拒答并不等于鲁棒性：测量自回归语言模型中的有害可达性
Refusal Is Not Robustness: Measuring Harmful Reachability in Autoregressive Language Models
精选理由
提出有界延续分析，揭示拒答表象下的隐性伤害风险，助力更精准评估与红队测试。
AI 摘要
arXiv:2610.22754v1 公告类型：新 摘要：通过越狱进行的 LLM 安全评估通常以攻击成功率（ASR）为指标：即生成的响应是否违反安全防护措施。然而，ASR 只评估采样得到的输出，对底层生成过程提供的信息很少。自回归语言模型定义了可能输出的概率分布，而一次采样得到的拒答可能与有害生成路径上相当大的概率质量并存。我们通过有界续接分析（BCA）研究这一隐藏结构。BCA 将自回归生成建模为一个在 token 前缀上运行的随机过程，并计算在有限时域内生成过程到达有害续接的概率。BCA 构建有界续接树，使用语义危害评估器为终止续接标注，并通过精确概率模型检测估计有害可达性。BCA 通过测量采样得到的安全响应之下仍有多少有害行为可被访问，来补充 ASR。这使其能够区分在测得的 ASR 值下表现相同的模型，并将红队工作分配到生成过程中隐藏风险更高的区域。在四个经过指令微调的 LLM 和 JailbreakBench 的 100 种行为上，我们表明，BCA 能够有效量化隐藏的有害行为，并为指导红队测试提供有用信号。