ConvPE：卷积位置嵌入改进 Transformer
ConvPE: Convolutional Position Embedding Improves Transformers
精选理由
ConvPE以轻量卷积增强位置信息，可提升Transformer在语言、长上下文和视觉任务中的性能与效率。
AI 摘要
arXiv:2611.07749v1 公告类型：新投稿 摘要：ConvPE（卷积位置嵌入）提升了 Transformer 模型在语言建模、长上下文扩展和视觉任务中的性能与效率。它通过对隐藏状态的低维投影进行轻量级因果卷积，向注意力分数中注入窗口化、依赖内容的偏置。作为轻量级插件，ConvPE 与 RoPE、注意力掩码和 KV 拼接兼容。它还支持通过高维卷积实现高维位置嵌入。在一项复现实验中，ConvPE 优于五种一维基线方法和八种二维基线方法。代码已公开，地址为 https://github.com/wzhagi/convpe。