超越因果掩码：审计与定位自适应序列模型中隐蔽的未来词元泄漏

隐蔽的未来词元泄漏可能造成架构性能提升的假象：自回归模型在教师强制评估下可能表现显著更好，但其自由运行生成的表现却会恶化。我们在一种自适应残差路由解码器中研究了这一失效现象：尽管因果注意力掩码正确，其序列级路由摘要仍使前缀位置能够访问未来词元。一个异常的24层模型检查点将验证损失从基线的3.5958降至1.4259，却未能通过前缀不变性审计，且生成时由参考模型评估的困惑度显著更高。逐层诊断与实现检查将这一违规行为追溯至通过动态路由查询路径广播的全序列摘要。两个独立训练的12层因果修复版本消除了可检测的泄漏，并使验证损失和参考模型困惑度回到对照组的水平，从而消除了表面上的巨大优势。作为诊断工具，我们采用了已有的前缀不变性契约、最大前缀输出差异（LeakScore）、互补的行为指标以及逐层剖析。配套实验涵盖了跨越五类模块的六组合成实现配对、无泄漏的预训练对照模型、受控故障注入，以及不同数值精度下的缓存一致性。这些结果说明，隐蔽的未来词元访问如何导致对架构进步的误导性宣称，以及为何应结合全模型因果性检查和自由运行评估来解读更低的教师强制损失。