推理模型在自我指示时能够控制自己的思维链

思维链（CoT）可控性，即推理模型控制其思维链属性的能力，对于模型的实用性和可靠监督都具有重要影响。近期研究通过衡量模型是否遵循用户提示中给出的思维链约束来评估这一能力，并报告称各类模型的可控性都非常低。我们认为，这种较低的可控性未必反映推理模型控制其思维链的固有能力不足，而可能是由于在用户提示中以过于直接的方式指定约束所致。为检验这一点，我们提出了 Self-Instructed CoT Controllability：一种互补性评估方法，将约束作为模型思维链中的自我指示，并衡量模型遵循该约束的能力。我们发现，在自我指示下，模型的可控性显著高于遵循标准用户指示时的可控性。即使只是笼统地提醒模型遵循用户约束，也能大幅提升可控性。此外，通过用户提示中的一条简单指令，可以将有效的自我指示引导并融入推理过程，从而即使无法访问推理通道，也能实现更好的控制。最后，我们利用自我指示在一个现实的监控设置中进行了演示，表明思维链可控性可以被用于规避监控，从而对思维链的可监控性构成风险。