面向非平稳注意力的基于流的谱核学习

arXiv:2610.30465v1 公告类型：交叉发布 摘要：核化注意力为将自注意力理解为基于相似度的聚合机制提供了一个有用视角，但现有方法往往依赖固定核或平稳核，限制了其根据复杂词元交互调整相似性结构的能力。本文提出基于流的谱核注意力（FSKA），这是一个用于学习具有强表达能力的非平稳注意力核的框架。FSKA 通过谱密度学习来表述核化注意力，并利用归一化流对所得的二元谱密度进行参数化。这一设计支持灵活且可正则化的核学习，同时兼容可扩展的线性注意力计算。我们进一步表明，具有强表达能力的核学习能够支持一种简化的注意力设计：移除查询—键投影，并采用固定的正交值投影，从而构建参数效率更高的架构。分类任务对照实验、消融实验和可扩展性性能分析表明，FSKA 相比现有注意力机制取得了相当或更优的性能，同时与大多数基线相比，将投影相关的可训练参数减少了约 $40\%$--$47\%$，并保持了线性注意力在内存扩展方面的良好特性。代码地址：https://github.com/ziyang18/FSKA。