Orthros：面向高效 Transformer 的阶段感知异构注意力

arXiv:2610.13735v1 公告类型：新稿 摘要：线性注意力和滑动窗口注意力等高效注意力机制旨在将 Transformer 的计算复杂度从二次降至线性。然而，这些机制的上下文内召回能力有所下降，往往需要交错引入全注意力层，导致长上下文处理中的二次复杂度瓶颈仍未解决。为此，我们提出 Orthros 注意力，将效率优化范式从结构分配转向阶段感知解耦。作为一个统一模块，它在序列处理的不同阶段动态切换计算模式，实现线性复杂度的预填充和全注意力解码。在预填充负载重、解码负载轻的常见长上下文场景中，这一设计使 Orthros 注意力的渐近复杂度低于标准 Transformer。除理论形式化描述和复杂度分析外，广泛的实证评估也表明 Orthros 在多个维度上具有优势。首先，我们验证了其基础语言建模能力，展示了其在不同模型规模下的可扩展性，以及在全面架构比较中的强大竞争力。其次，通过高数据效率的 Transformer 到 Orthros 转换，Orthros 展现出极佳的转换可行性，转换后的性能甚至超越原始 Transformer。最后，Orthros 相较于 Transformer 实现了 $21.9\times$ 的预填充加速，并带来了端到端推理性能提升，同时保留了长上下文能力：其在 128K 大海捞针测试中取得近乎完美的结果，在真实场景的上下文内召回任务中也达到了 Transformer 水平。总体而言，这些在高性能、灵活性和效率方面的优势，使 Orthros 有望在工业应用中接替 Transformer。