学习如何被监测：思维链可监测性的因果界限与干预感知后训练方案
Learning to Be Monitored: Causal Bounds and Intervention-Aware Post-Training Recipes for Chain-of-Thought Monitorability
精选理由
提出因果界与训练方法，提升大模型思维链的可监测性与安全评估准确性。
AI 摘要
arXiv:2610.31733v1 公告类型：新 摘要：思维链（CoT）监测旨在通过大型语言模型（LLM）的思维链，检测其中潜在的有害行为。基于干预的评估通过询问监测器能否从思维链中检测出干预所起的作用，来衡量这一属性，通常使用~\citep{guan2025monitoring} 提出的最小判据敏感度（$\mathsf{TPR_{mc}}$）。然而，在干预下观察到的目标行为不一定是由干预造成的。我们证明，该指标可能高估监测器检测到实际上由干预导致的目标行为的频率。具体而言，我们将 $\mathsf{TPR_{mc}}$ 确立为因果检测率的上界，并推导出一个互补的下界，从而为思维链可监测性提供更严格的评估框架。在此框架下，我们研究能否训练 LLM，使其思维链更易于监测。首先，我们构建了一个成对的控制--干预任务训练数据集，涵盖多种干预类型。利用该数据集，我们设计并应用了三种针对特定干预的训练方法，分别基于离策略自蒸馏、强化学习和同策略自蒸馏，用于训练每个基础模型的不同变体。在多种模型-监测器配置下，与相应的基础模型相比，在我们扩展后的评估框架中，这三种方法总体上都提升了思维链的可监测性。我们的代码可在 https://github.com/xinyue-lxy/learning-to-be-monitored 获取。