超越准确率：语言子空间干预捕获、移除和改进了什么

语言子空间干预旨在通过抑制中间层激活中的语言相关成分来提升多语言推理能力。我们使用四个开放权重大型语言模型在 MATH 和 MGSM 上进行研究，提出三个问题：所估计的语言子空间是否捕获了与翻译相关的变化？将这些子空间投影移除后，是否会去除语言信息？它们能否在不损害回复语言的情况下提升准确率？针对第一个问题，我们使用现有的 Mean-SVD 构造方法和我们提出的 DiffPCA 构建子空间。两者都捕获了大量与翻译相关的变化，并且随着模型深度的变化呈现出相似的模式。针对第二个问题，我们分别移除每个子空间，并训练线性探针，根据投影后的激活来分类语言。这些探针仍能近乎完美地识别语言，表明这两个子空间都没有穷尽地捕获语言信息。针对第三个问题，我们在 Qwen2.5-7B 上评估了多种干预配置，改变子空间创建方法和干预算子。我们发现，对 MGSM 准确率提升最大的干预牺牲了回复语言保真度；只有一种干预使联合准确率——答案既正确又使用目标语言——略有提升，增幅为 1.60 个百分点。有趣的是，仅对提示词进行细微调整也能复现准确率增益，但会严重损害语言保真度。我们认为，评估因果干预时不能只看准确率，还必须充分考虑语言替换带来的权衡。