仅有最终检查点还不够：沿训练轨迹分析潜在推理的忠实性
Final Checkpoints Are Not Enough: Analyzing Latent Reasoning Faithfulness Along Training Trajectories
精选理由
追踪潜在推理忠实度随训练的变化，揭示准确率提升可能伴随反事实响应减弱，并提供改进训练的线索。
AI 摘要
arXiv:2607.06648v3 公告类型：替换 摘要：潜在推理在连续隐藏状态中执行多步推断，有望实现更紧凑、更高效的推理。然而，这些不透明的状态引出了一个忠实性问题：潜在推理步骤是否真正驱动了最终答案。先前研究报告了特定检查点上的不忠实行为，却未考察这些行为在训练过程中的演变。我们通过经过验证的反事实编辑和对潜在推理状态的干预，追踪整个训练过程中的行为证据与基于激活的证据。我们发现，准确率可能有所提升，但模型对那些改变所需推理路径及正确答案的编辑却变得不那么敏感。这种反事实响应性在不同潜在推理方法中呈现出不同的变化轨迹。在图可达性任务 ProsQA 上，输出对噪声替换的敏感性与反事实响应性同步下降。对于分别训练的 GSM8K 数学题二选一版本和开放式版本，对全部潜在状态的干预显示出相反的敏感性变化轨迹。在这些轨迹的指导下，我们对训练流程进行干预，提高了反事实响应性。这些结果表明，仅评估最终检查点，可能会掩盖反事实响应性何时发生变化，以及潜在状态究竟发挥了什么作用。