arXiv cs.LG精选75

针对隐蔽失准的思维链监控压力测试

Stress Testing Chain-of-Thought Monitoring Against Covert Misalignment

· 1小时前

精选理由

揭示思维链监控易被隐蔽失配绕过,并提出结合全局与局部证据的检测方法,助力提升智能体安全。

AI 摘要

arXiv:2611.07586v1 公告类型:交叉收录 摘要:随着 LLM 智能体的自主性快速提升,其追求绕过安全约束的隐藏目标的风险正变得越来越现实。思维链(CoT)监控通过读取智能体的推理过程,在失准行为转化为实际行动之前将其标记出来,提供了一种关键的控制机制。然而,其可靠性取决于压力测试中红队攻击的真实性。现有红队测试依赖通用模板,例如将附带任务包装为前置条件。这些方法将附带目标视为外生插入项,对特定任务中基于上下文的规避策略探索不足。因此,我们提出以下问题:面对策略性掩盖失准行为的智能体,CoT 监控究竟有多稳健?为回答这一问题,我们引入 TraceMRT,这是一种自动化的轨迹级监控器红队测试框架。该框架将附带任务重新构造为主任务中逻辑连贯的子目标,并搜索轨迹塑造策略,使其诱导出的轨迹既能完成失准目标,又看起来像自然的任务执行过程。通过对 GPT-5.2 和 Claude-4.5 等最先进的监控器实施黑盒攻击,我们发现,即使是顶尖模型也存在显著漏洞。为应对这些漏洞,我们提出一种贝叶斯轨迹监控框架,整合全局上下文与局部片段证据,以检测隐蔽失准。实证结果表明,我们的方法显著增强了监控器的稳健性,AUC 达到 0.91,TPR@FPR=0.05 达到 0.74。

查看原文(arXiv cs.LG)