LLM 回答了问题吗？用于越狱评估的语义重构博弈

arXiv:2610.19306v1 公告类型：新发布 摘要：针对大语言模型（LLM）的越狱攻击使用攻击成功率（ASR）进行评估，而这一指标依赖于正确识别满足违规请求的回答。现有评估器可能会将拒绝回答或仅在主题上相关的回答误判为攻击成功。我们表明，仅更换充当评判者的 LLM，就能使报告的 ASR 最多变化 $82$ 个百分点。我们提出语义重构博弈，这是一种无需训练的评估器，可将是否遵从请求的判断分解为受约束的语义比较。仅给定一条回答，LLM 便根据其中的实质性内容重构其所回答的请求，同时排除仅被复述或拒绝的信息。该博弈将重构出的请求与相似的干扰请求进行比较，以确定其是否匹配原始请求，并允许在两个候选请求均不匹配时弃权。在三个开箱即用的 LLM 评判者上，该博弈相较于人工标注的平均误差在所有受评估方法中最低，同时减少了所报告 ASR 的波动。该方法优先避免假阳性，即使这意味着漏掉一些成功的越狱攻击。