寻找语言模型中负责网络信息检索的注意力头与神经元

arXiv:2610.08200v1 公告类型：新提交 摘要：我们探究特定的注意力头，以及更细粒度地位于这些注意力头内部的特定神经元，是否负责识别语言模型上下文中包含的网络基础设施信息（与其 IP 地址配对的主机名），以及能否通过因果验证而非仅凭相关性来确认这种作用。在注意力头层面，答案是肯定的，且这一结论适用于涵盖三个架构家族的五个模型：在每个模型中，通过因果消融筛选发现、并利用匹配的负例对照和无上下文对照检验其选择性的一小组注意力头（从 128 至 1152 个候选中选出 1 至 9 个），可支持检测器在留出集上达到 99.5%—100% 的准确率。随后，我们探究一个注意力头的这种作用是集中在单个神经元上，还是分散在其各个维度中；结果因模型而异。在一个模型中，最重要的注意力头的信号集中在单个神经元上，因果干预和相关性排序分别独立找到了该神经元，且两者结果完全一致（AUC = 1.000，与完整注意力头相当）。在另一个模型中，唯一一个表现明确的注意力头作为整体时效果良好（AUC = 1.000），但其内部因果排序最高的神经元却并非如此（AUC = 0.665），因此，这种作用分散在整个注意力头中。其余三个模型介于两者之间。在由另一家机构收集的独立数据集（反向 DNS 记录，而非发现阶段使用的数据）上，每个模型的完整注意力头检测器都能标记出 100% 的正例记录；单神经元版本的迁移可靠性较低，其中一个模型的表现低于随机水平。针对特定网络信息实体，通过因果方法定位注意力头在不同模型和架构中均有效；但这一发现能够在多大程度上细化到单个神经元，则因模型而异，需要逐一检验。