稀疏解码的注意力质量凝聚

arXiv:2602.06317v3 公告类型：替换 摘要：注意力质量的集中为稀疏解码创造了机会，但保留的注意力质量本身并不能保证稳定的贪心决策：检索误差、被省略的数值方向以及递归解码都会产生影响。我们通过一个精确的省略质量恒等式和一个充分的下游间隔条件，将这一差异形式化，随后刻画了一种依赖查询的均值池化块选择器。在 Qwen2-0.5B 上，一次成对的新选择扫描覆盖了包含 97--769 个位置的支持集、长度为 2K--16K 的上下文，以及每个上下文的五个前缀。主要的精确匹配结果是：60 次运行中没有一次能在 128 个 token 内始终与密集解码保持完全一致。分布质量则有所不同：当支持集至少包含 193 个位置时，在九种上下文—支持集条件中的七种条件下，教师强制续写困惑度的中位数变化在密集解码的 5\% 以内；但按提示词统计的范围包含严重的 16K 异常值。教师强制匹配率低于 70\% 的七次运行，其困惑度增幅均超过 100\%；这些观察来自两个前缀，因此只能提示一种警戒区间，而不是普遍适用的阈值。所测困惑度是在密集模型自身的续写上进行教师强制评估得到的，而不是稀疏模型自由运行输出的困惑度。独立的检索和注意力质量探针说明了为什么捕获的注意力质量本身既不能保证检索效果，也不能保证决策结果。孤立的算子计时无法证明在质量相当的情况下实现加速，也无法证明端到端服务速度得到提升。