因果思维链：通过上下文隔离缓解注意力泄漏

思维链（CoT）提示能够引出逐步推理过程，这些过程看似解释了模型的预测，但无法保证这些步骤在因果上决定了最终答案。在标准的自回归生成中，稠密注意力使每个推理步骤都能关注完整上下文，从而允许模型通过直接查找得出答案，同时生成听似合理却属于事后解释的论证。我们提出 CausalCoT，这是一种推理框架，通过将问题分解为由原子子问题构成的有向无环图，并在仅包含直接因果父节点的隔离上下文中对各节点进行求解，来强制实现因果透明性。这种马尔可夫结构消除了通向非父节点内容的注意力路径，使下游预测对局部推理敏感，而非依赖全局上下文泄漏。在一系列多样化的推理基准测试中，CausalCoT 在保持有竞争力的预测性能的同时，提高了解释的忠实性；与最强基线相比，中间推理步骤的因果敏感性平均提高了 12 个百分点，最高提高了 21 个百分点。此外，结构化依赖图还支持测试时干预，使局部修正能够以可预测的方式沿下游推理传播。