定位并不意味着可操控：大语言模型数学运算中符号错误的机制研究

arXiv:2611.07478v1 公告类型：新论文 摘要：当大语言模型进行多步数学运算时，一种典型的失败模式反复出现：模型在计算中途写下一个错误的符号词元——例如代数余子式的符号，或递归分部积分步骤中的负号——随后正确完成其余算术运算，但最终答案却是错的。我们探究的是，这个符号究竟在网络内部的什么位置被写入。对六个参数规模从140亿到6750亿的开放模型进行逐层读出后发现，错误符号是在较晚阶段确定的，具体由网络最后四分之一中的 MLP 层写入（各模型与任务中的占比为70%至100%）；在接受相关测试的 Qwen 中，这一模式在指令微调之前的基础模型中就已存在。具体机制各不相同：一些模型具有固定的“负号盖章”层，无论正确答案是什么，都会推动模型输出负号；另一些模型则会放大此前已选定的符号；而 Qwen 还具有一个下游补救层，用于抵消“盖章”效应。这一回路具有因果作用：在 Llama-3.3-70B 上，从残差流中减去单个符号方向，就能使留出测试集中14个错误写入负号的分部积分案例中的13个发生符号翻转；这一翻转效果也在 Qwen、Gemma 和 Mistral-Small 上得到复现（各实验单元的翻转率为24%至70%），并表现出表征层面的特异性——相同干预强度会破坏本应正确输出负号的答案，而在该方向能够实现精准干预的情况下，则不影响正确输出正号的答案（Llama 上为0/72）；匹配的随机方向干预和对照层干预均无效。核心论断均已预注册，通过标准在查看留出数据之前就已在 git 中冻结：29项检验中有23项通过，所有未通过项均予以报告。但因果效应并不一致：Phi-4 在同样靠后的深度具有定位同样明确的回路，然而完全相同的干预几乎无法引发符号翻转——该模型在约15层中冗余地写入符号，且符号的 logit 差值高出数倍（中位数为17.8）。因此，我们得出结论：定位并不意味着可操控；两个模型的回路可能位于相同位置，但在其结果能否被推翻方面却存在巨大差异。