连续体注意力

arXiv:2610.20586v1 公告类型：新提交 摘要：我们提出 Continuum Attention（CA），一种因果 Transformer 注意力算子，它以沿连续分段线性记忆曲线的积分取代离散的键和值查找。每个查询都会沿曲线产生一个指数形式的相关性密度。通过对该密度及插值后的值进行积分，可利用闭式指数矩精确计算归一化注意力，其中包括半个词元的边界贡献。梯度可由最高二阶矩解析推导，从而支持并行 GPU 实现，同时保持序列长度的二次复杂度和标准 Transformer 解码器。与普通 softmax 注意力和焦点注意力相比，CA 将验证集平均负对数似然分别降低了每字节 0.0200 和 0.0480 纳特，并在所有配对比较中胜出。在另一个互不重叠的验证数据子集上，相比所选的最强 softmax 基线，CA 取得了每字节 0.0457 纳特的优势，并给出了配对比较的 95% 置信区间。这些发现表明，连续积分是一种有前景的注意力替代方案，但其在更大规模下的泛化能力仍有待研究。