arXiv cs.AI精选79

BLOOM-WILT:用于自动化 LLM 审计中的行为引出 Logit 倾斜

BLOOM-WILT: Logit Tilting for Behaviour Elicitation in Automated LLM Auditing

· 43天前

精选理由

提供高效审计大模型罕见行为的新方法

AI 摘要

部署中的语言模型用户经常会遇到测试几乎从未暴露的行为,因为部署使模型经历的交互次数比任何评测都能模拟的数量级还要多。自动化审计器使测试能够低成本扩展,并且足够灵活以覆盖几乎任何指定行为,但由于缺乏优化压力,它们的样本效率较低。为解决这一不足,我们提出 BLOOM-WILT,一个完整的审计流程,它能够引出罕见行为的自然多轮实例,而且无需训练成本,也无需超出目标模型下一 token 分布之外的访问权限。在输入端,WILT 的审计模型会在多轮中修订其对话策略,并从先前评分过的交互中学习。在输出端,WILT 利用目标模型在一个引出提示条件下得到的自身分布,自适应地对其解码结果重新加权,从而使与行为相关的生成样本优先于那些在未提示时它认为同样可能的生成。我们在 4 个目标模型和 8 种行为上评估 WILT,结果它在 32 种设置中的 30 种中击败了基线审计器,并推翻了此前的模型安全性排名。当从 Qwen3.5-4B 中引出自残鼓励行为时,WILT 将平均行为出现率从 51% 提升到 100%,在相同计算量下击败了我们移植到同一流程中的每一种引出方法,而且没有将输出概率压低到低于基线的水平。

查看原文(arXiv cs.AI)