CodeLMs 中的因果语法回路：预算和探针决定何者呈现为局部化

arXiv:2610.20683v1 公告类型：新 摘要：当提示没有指定使用哪种语言时，代码模型会编写 Python。我们针对这一习惯提出一个机制性问题：它是否由模型内部一小组可定位的组件产生？我们在涵盖 10 个开放代码模型（5 个基础模型和 5 个指令微调模型）、3 种目标语言（Rust、C#、PHP）、2 组提示集和 2 种组件预算的 55 个模型—语言设置上，运行了一套流程——均值消融、激活修补、贪心回路提取、随机对照显著性检验以及激活引导。我们报告了五项发现。第一，这种偏好幅度很大，且会随模型规模增长，并在指令微调后依然存在：每个指令微调检查点的偏好都大于其基础版本，平均高出 12%。第二，其测得的规模主要取决于探针；将我们的对齐提示替换为 XLCoST 并行函数后，在相同模型上进行相同测量，结果会从约 1.6 降至约 0.01。第三，这种偏好是否呈现为局部化，取决于搜索允许保留多少个组件：预算为 12 时，15 个设置中只有 1 个得到的回路在经过多重比较校正后优于规模匹配的随机对照；预算为 40 时，这一数字为 6 个。第四，较小预算研究报告为全部失败的干预有时也能成功：修补在 45 个设置中的 2 个设置里使 Python 提示偏好目标语法，而引导在 45 个设置中的 9 个设置里改变了最可能出现的下一个词元。第五，所有效果显著但指向目标语言之外的回路，都来自回路提取失败的设置，因此这类结果应被视为诊断信号，而非一种现象。实践上的启示是，关于某种行为是否局部化的结论，可能取决于论文很少报告的分析选择。我们发布了完整网格，以便调整这些选择。