当场抓获：探针能够有效检测破坏行为并捕捉未言明的欺骗

近期事件凸显了监控 LLM 智能体的挑战，以及模型欺骗人类的危险。我们表明，通过探针进行的白盒欺骗检测可以扩展到前沿监控场景：我们收集了迄今最大的欺骗数据集用于训练探针，并提出了一种新型探针架构，能够聚合多个层和多个词元中的信息。在 SHADE-Arena 中，我们的探针取得了 98.8% 的 AUC，超过了 Opus 5.5 的文本监控基线；随着底层模型规模扩大，探针的有效性也有所提升。为了检验探针的极限，我们在若干仅凭上下文无法判断是否存在欺骗的案例上对其进行测试。对于这些案例，我们称之为内省式欺骗，只有通过谨慎引导或全面了解模型的训练数据，才能确定真实情况。在其中一项评估中，我们表明，探针能够以最高 99.7% 的 AUC，将包含模型真实隐藏目标的对话记录与包含其他目标的对话记录区分开来。我们的探针还能够轻松检测出知名开放权重模型在政治敏感话题上撒谎，以及在受到压力时谎报自身信念的行为。我们发布了名为 FIBS 的训练数据集，以推动有效探针在前沿系统中的部署，并鼓励社区通过补充更多欺骗与破坏行为示例来进一步扩展该数据集。