LIME：利用解耦 XOR 注意力进行基于链接的用户-项目交互建模，实现高效的测试时扩展

arXiv:2510.18239v4 公告类型：replace-cross 摘要：扩展大型推荐系统需要推进三个主要方向：处理更长的用户历史记录、扩大候选集，以及提升模型容量。尽管前景可观，transformer 的计算成本会随用户序列长度呈二次增长，并随候选数量呈线性增长。这种权衡使得在推理阶段扩大候选集或增加序列长度的成本高得难以承受，尽管这些做法能带来显著的性能提升。我们提出了 \textbf{LIME}，一种解决这一权衡的新型架构。通过两项关键创新，LIME 从根本上降低了计算复杂度。首先，低秩“链接嵌入”通过解耦用户与候选项之间的交互，使注意力权重能够预先计算，从而使推理成本几乎不受候选集大小影响。其次，线性注意力机制 \textbf{LIME-XOR} 将关于用户序列长度的复杂度从二次方（$O(N^2)$）降至线性（$O(N)$）。在公开数据集和工业数据集上的实验表明，LIME 达到了与当前最先进 transformer 几乎相当的性能，但在大规模候选集或较长序列长度下，推理速度提升了 10 倍。在某大型推荐平台上的测试中，LIME 在保持候选集大小和用户历史长度相关推理成本极低的同时，提高了用户参与度，为高效且富有表现力的推荐系统确立了新的范式。