长度很廉价，竞争却不是：注意力能够预测检索中的上下文腐化

为什么语言模型会在长输入上失效？通常的答案是长度。我们表明，对于检索而言，长度并不昂贵，竞争才是。在五个开源模型上（参数量从 0.5B 到 3B，涵盖四个模型系列），中性填充内容不会造成任何损失：在 Qwen2.5-1.5B 上，即使达到 32K 个 token，准确率仍保持在 0.97 到 1.00。将符合证据格式的陈述放在相同位置，则会使准确率降至 0.16 到 0.33。一条为被查询键赋予竞争值的陈述，就能将损失放大 9 到 110 倍，而每增加一个竞争值都会进一步加剧损失。在模型内部，有一个量能够追踪这种失效：留在证据上的注意力总量。在 126,473 次试验中，它最多可以解释损失方差的 58%；而对数长度最多只能解释 8%。支撑“仅长度会造成损害”这一论断的掩码填充实验方案，在 MMLU 上得到了复现（输入达到 30K 个 token 时损失 11 到 18 个百分点），但在检索任务的可见对照实验中却无法成立：在 32K 个 token 时，对填充内容进行掩码会使准确率下降 45 个百分点，而保持相同填充内容可见则不会造成任何损失。在检索中，上下文腐化是一场注意力竞争。我们将发布该探针以及全部 126K 条试验级测量数据。