PHBA：Prefix-State Hybrid Block Attention

arXiv:2610.08527v1 公告类型：新 摘要：结合线性序列模型与 softmax attention 的混合架构，在高效的长上下文建模与精确的 token 检索之间实现了有效平衡。现有设计（如 Native Hybrid Attention（NHA））将压缩的长期状态与滑动窗口注意力相结合，但其精确注意力被限制在固定的局部窗口内。在本文中，我们提出 Prefix-State Hybrid Block Attention（PHBA），以 top-k 块稀疏检索取代局部滑动窗口注意力，并将每个检索到的块与概括其前置上下文的紧凑前缀状态结合起来。前缀状态通过块边界处的门控线性递归构建，并与对应的 token 块一同检索，使模型能够在统一层内结合精确的远程证据与压缩的历史上下文。我们进一步开发了一种面向硬件的 Triton 实现，在不实例化大型中间张量的情况下，对路由后的 token 块和前缀状态进行流式处理。实验表明，与性能强劲的线性模型和混合模型基线相比，PHBA 在保持高效训练和推理的同时，提升了长上下文建模与检索性能。