因果思维链：通过上下文隔离缓解注意力泄漏

arXiv:2610.31639v1 公告类型：新论文 摘要：思维链（CoT）提示能够引出逐步推理过程，这些过程看似解释了模型的预测，但无法保证这些步骤在因果上驱动了最终答案。在标准的自回归生成中，稠密注意力使每个推理步骤都能关注完整上下文，从而让模型通过直接查找得出答案，同时生成听起来合理却属于事后解释的理由。我们提出 CausalCoT，这是一种推理框架，通过将问题分解为由原子子问题构成的有向无环图，并在仅包含各节点直接因果父节点的隔离上下文中对其进行求解，来强制实现因果透明性。这种马尔可夫结构消除了通向非父节点内容的注意力路径，使下游预测对局部推理而非全局上下文泄漏敏感。在一组多样化的推理基准测试中，CausalCoT 在保持具有竞争力的预测性能的同时，提高了解释的忠实度；与最强基线相比，中间推理步骤的因果敏感性平均提高了 12 个百分点，最高提高了 21 个百分点。此外，这种结构化依赖图还支持测试时干预，使局部修正能够以可预测的方式沿下游推理传播。