探寻导致幻影迁移的数据集偏差

arXiv:2609.14449v2 公告类型：替换 摘要：近期研究表明，教师模型可以通过一个数据集将某种偏差迁移给学生模型，即使该数据集中所有对该偏差的明确引用都已被过滤掉；研究还表明，即便防御者知道需要寻找什么，已测试的数据层面防御措施也无法可靠地消除或检测此类偏差。为揭示这些偏差留下的隐藏痕迹，我们使用 Sentence-BERT 对数据集中的生成结果进行嵌入，减去干净参考生成结果的嵌入，并将所得结果与一个开放词汇表中的候选主题进行比较。当攻击者的教师模型已知时，这一简单特征能够以 0.83 的 Matthews 相关系数识别偏差主题；当教师模型未知时，相关系数为 0.46。我们还观察到，不同的教师模型似乎会通过不同的词汇来表达相同的偏差。