语言模型在工作记忆中共享一种读出瓶颈

arXiv:2610.21176v1 发布类型：new 摘要：大型语言模型（LLMs）在 N-back 任务中再现了人类工作记忆的特征：随着记忆负荷 N 的增加，表现逐渐下降；错误集中出现在诱饵项目上，即在相邻但错误的序列位置重复当前刺激的项目。我们考察这种共同的行为特征是否反映了共同的机制。现有文献提出了两种候选解释。在精度解释下，softmax 注意力无法将权重集中到前 N 个位置的项目上，因此会检索相邻项目。在干扰解释下，注意力选择了正确项目，但竞争项目的内容会干扰判断。我们在来自三个模型系列的 15 个预训练 LLMs（参数量从 7000 万到 140 亿）以及从头训练的最小化 transformers 中区分了这两种解释。在这三个模型系列中，执行该任务的注意力头在大多数漏报匹配的试次中都关注目标。线性探针几乎可以完美解码匹配字母是否出现在目标位置或诱饵位置，即使在模型对诱饵位置产生虚警的试次中也是如此，尽管模型自身的决策几乎无法区分这两种情况。锐化注意力带来的收益微乎其微，而抑制非目标项目的字母身份信息则在几乎所有模型—负荷条件下提高了敏感性（d'）。在更大的模型中，该任务分散到更多注意力头上，消除干扰带来的帮助也更大。在最小化 transformers 中，单个注意力层受到精度限制，但第二个注意力层可以消除这一限制。因此，LLMs 的工作记忆限制在于如何在干扰下读出项目，而不是定位项目；这一结果与人类工作记忆的干扰解释一致。