用于 Delta-Rule 线性 Transformer 的快速稳定三角矩阵求逆

arXiv:2605.21325v2 公告类型：替换 摘要：线性注意力已成为高效长上下文架构的基石，其被集成到 Qwen3.5/3.6、Kimi Linear/K3 和 RWKV-7 等最先进的开源模型中便是明证。采用所谓 Delta-Rule 线性注意力层的模型，将三角矩阵求逆作为核心子程序。这一操作往往构成性能瓶颈，而且由于其对数值误差高度敏感，若实现不够谨慎，可能会显著降低模型的端到端精度。本研究对直接式和迭代式三角矩阵求逆算法进行了系统分析，重点关注包含大量矩阵乘积运算、因而有望高效利用现代硬件的方法。为此，我们的分析涵盖了广泛的数学与实践问题，着重考察数值稳定性、计算复杂度，以及最终的硬件效率和实际应用中的考量。我们通过严谨的实验评估，在实际场景和低精度浮点表示下验证这些性质，并揭示各方法的优势与局限。在 NPU 上的性能基准测试表明，相较于 SGLang 中最先进的三角矩阵求逆实现，我们的方法最高可实现 $4.3\times$ 的加速，从而在保持模型端到端精度的同时，显著提升整个层的性能。