当潜在推理中的引导失效:潜在到语言的转换鸿沟
When Steering Fails in Latent Reasoning: A Latent-to-Language Transition Gap
精选理由
揭示潜在思维干预难传导至语言输出的鸿沟,为改进模型控制方法提供方向。
AI 摘要
激活引导已成为在显式思维链(CoT)推理过程中控制语言模型的一种广泛使用的方法,这推动了其向潜在 CoT 的扩展。然而,我们发现,即使隐藏表示的移动幅度相当,对连续思维进行引导对后续语言生成产生的效果也明显弱于对显式 CoT 进行引导。我们首先表明,任务信息在连续思维中仍然是可识别的。因此,我们提出了\textbf{潜在到语言的转换鸿沟}这一假设,即潜在空间中的干预效果无法传递至语言生成。进一步的两个结果支持了这一假设:输出分布在转换边界处发生突变,并且与任务相关的方向在潜在 CoT 中施加的双向控制远弱于在显式 CoT 中的控制。这些发现表明,转换接口应成为未来评估和设计潜在引导方法的核心目标。