分数不是结构：脑对齐与跨语言迁移

arXiv:2610.03827v2 公告类型：替换交叉版本 摘要：相似度分数常被用作证据，证明某个模型与大脑或不同语言之间共享结构。我们在两种情境下追问：当这种结构被移除，或测量它的工具无法正常工作时，这样的分数究竟反映了什么。在十七种语言中，语法性探针在语言距离越远的语言之间迁移效果越差（r = -0.66）。但探针自身的准确率也沿着同一轴下降，并且在四种语言中处于随机水平，而这四种语言恰好是距离最远的五种语言中的四种。剔除这些语言后，可解释方差减半；由于语言距离的取值范围也随之缩小，该设计无法说明这一梯度效应中有多少来自测量工具本身。将272个语言对视为相互独立的样本，会得到引导效应的 p = 0.0006；而以十七种语言为统计单位时，该效应为零（p = 0.155）。在脑对齐方面，一项训练目标使语言模型与 fMRI 反应的相似度从0.10提高到0.34（可靠性上限为0.54），然而，即使破坏了目标中的脑对应关系，模型仍能达到0.31。对于包含 n 个句子的真实目标，经过打乱的目标得分约为 k/n，其中 k 为其排名；这一基线可在训练任何模型之前计算出来。两种干预都有效，但我们没有检测到随距离变化的引导效应，也没有发现对齐带来的句法收益。在解读对应性分数之前，先测量在没有对应关系的情况下，该分数有多少仍能保留下来。