Continuum Attention

我们提出 Continuum Attention（CA），一种因果 Transformer 注意力算子，用沿连续分段线性记忆曲线的积分取代离散的键和值查找。每个查询都会沿该曲线诱导出一个指数相关性密度。对该密度及插值后的值进行积分，可通过闭式指数矩精确计算归一化注意力，其中包括半个词元的边界贡献。梯度可由最高二阶矩解析推导得到，从而支持并行 GPU 实现，同时保留关于序列长度的二次复杂度和标准 Transformer 解码器。与普通 softmax 注意力和焦点注意力相比，CA 的平均验证负对数似然分别降低了每字节 0.0200 和 0.0480 纳特，并在所有配对比较中胜出。在另一份互不重叠的验证数据切片上，CA 相较于所选的最强 softmax 基线取得了每字节 0.0457 纳特的优势，并给出了配对的 95% 置信区间。这些发现表明，连续积分是一种有前景的注意力替代方案，但其在更大规模下的泛化能力仍有待研究。