Quad-State 对非规范输入下开放权重大语言模型的安全性评估
Quad-State Safety Evaluation of Open-Weight Large Language Models on Non-Canonical Inputs
精选理由
揭示模型面对变形输入时的安全漏洞与理解失效模式，为更全面的安全评测提供依据。
AI 摘要
arXiv:2610.09033v1 公告类型：cross 摘要：大型语言模型的标准安全评估通常针对以规范纯文本编写的有害请求，而在现实部署中，模型经常会接收到包含表情符号、拼写变体、编码字符串和字符级变化的输入。本研究提出 Adversarial Surface-Form Robustness Dataset (ASRD)，包含来自七个不同表层形式类别的 2,100 条提示。研究使用五个开放权重语言模型对这些提示进行评估，共生成 10,500 条响应。Quad-State Evaluation Rubric 将每条响应分为四种结果之一：有害服从、安全响应、理解失败或不确定。表情符号和不可见 Unicode 变体几乎不会导致理解失败，其汇总有害服从率分别为 20.27% 和 17.20%，低于 22.87% 的基线；该基线主要受到 Mistral 7B 的影响。而 leetspeak、编码包装和混合变换的有害服从率分别为 2.40%、0.13% 和 2.40%，与此同时，理解失败率升至 36.47%、65.60% 和 34.47%。对模型原始输出的检查揭示了三种响应行为：幻觉式无害化、结构崩溃和语言漂移。项目页面：www.pavanmaddula.com/quadstate