间接证据在哪里？使用影响函数研究语法泛化

arXiv:2610.22919v1 公告类型：cross 摘要：语言模型能够超越其训练语料库，对语言现象进行泛化学习（Patil et al., 2024；Misra and Mahowald, 2024），这表明存在驱动学习的间接证据。以往研究推断间接证据的存在，却未能确定其特征，也未考察关于其可能形式的具体假设。我们探索了一种自下而上的替代方法，用于识别间接证据。我们使用影响函数（Koh and Liang, 2017）来衡量单个训练句子如何影响模型在 BLiMP（Warstadt et al., 2020）中 15 种语法现象上的预测。我们利用人工构建的规则过滤掉某一现象的直接证据，并将剩余句子中影响力最大的 60,000 个句子视为间接证据。这些间接证据会显著影响学习：对于五个模型中的每一个，在移除间接证据后重新训练，留出集准确率的下降幅度都大于移除一组匹配的随机句子，下降中位数为 12 个百分点。我们通过考察间接证据与直接证据过滤条件的相似性来刻画间接证据：与匹配的随机组相比，间接证据满足这些过滤条件结构要求的比例（部分满足）中位数高出 4.7 倍。最后，按照间接证据重叠程度对语法现象进行聚类，成功恢复了 BLiMP 五个包含多个现象的类别中的三个，这表明该方法能够揭示语言学关系。