打开盒子会改变猫：LLM 能察觉思维链监控——接下来怎么办？
Opening the Box Changes the Cat: LLMs Detect Chain-of-Thought Monitoring - What now?
精选理由
研究发现模型会从监控痕迹推断思维链正被审查并调整策略，为评估监控可靠性提供警示。
AI 摘要
arXiv:2610.40946v1 公告类型：交叉发布 摘要：思维链（CoT）推理使大语言模型（LLM）能够在解决复杂任务时，以自然语言生成中间推理轨迹。这些轨迹可以在行动执行前暴露潜在的有害计划，从而为安全监控提供支持。在本研究中，我们探究 LLM 在何种条件下会根据直接和间接的环境线索推断出 CoT 监控的存在，并考察这种推断如何影响其后续行为。我们的观察表明，监督是一个交互过程：当监控器检查模型的推理时，监控干预留下的痕迹可能使模型推断出其思维正在被观察，并据此调整行为。我们表明，即使是细微的环境线索，例如超时和操作耗时所提供的时间相关信号，也可能暴露监控的存在，并触发模型调整行为。在多次重复情境和交互循环中，我们进一步观察到，模型能够对监控器的有效性形成统计估计，并利用这些估计来指导规避检测的尝试。这些发现凸显了在自适应条件下评估基于 CoT 的监督机制的必要性，因为监控过程本身可能会影响其试图观察的行为。