RAM-Net：具有稀疏可寻址状态的线性时间序列建模

arXiv:2602.11958v2 公告类型：替换 摘要：线性注意力利用固定大小的循环状态，为全注意力提供了一种高效替代方案。然而，该状态由所有词元共享，因此不同词元的信息会在其中叠加，产生词元间干扰，削弱长距离细粒度信息的召回能力。为解决这一问题，我们提出了 RAM-Net，以基于地址的稀疏访问取代对共享状态的密集访问。RAM-Net 将循环状态组织为由独立槽位构成的固定大小数组，并使用 Address Decoder 将每个键或查询映射为稀疏地址，在每一步选择少量槽位进行写入或读取。这种设计将地址不重叠的词元导向互不相交的槽位，从而抑制词元间干扰，同时使每步状态访问量仅取决于所选槽位的数量，而非状态的总大小。实验表明，RAM-Net 在细粒度长距离检索任务上优于强大的循环模型基线，并在保持有竞争力的常识推理能力的同时，实现了最低的困惑度。此外，RAM-Net 每步访问的状态元素数量少于所有基线，例如仅为 Mamba2 的 $1/8$。