注意力流形：通过编辑已学习的 B 样条曲面来引导或阻断语言模型

arXiv:2610.00257v1 公告类型：新 摘要：在标准 Transformer 注意力机制中，源 token 会向每个接收方发送相同的值向量。查询决定关注的\emph{程度}，但不决定提取的\emph{内容}。本文提出\textbf{注意力流形}：已学习的二维 B 样条曲面 $S_d(q_d, k_d)$，根据查询与键之间的交互来调制每个值维度。每个曲面都是初始化为零的张量积三次 B 样条，从而保留预训练行为。在 LLaMA 3.2-1B-Instruct 和 3B-Instruct 上应用后，注意力流形仅增加 0.3\% 的参数量，就能使 WikiText-2 验证集困惑度降低 2--2.5 个点。在涵盖多种类型的 112 个提示中，曲面使其中 69\%（1B）至 83\%（3B）案例的贪心解码输出发生变化；对于含糊和多义输入，影响最为显著（变化率为 94--100\%）。曲面能够提升输出质量：纠正事实错误（\emph{“CAP 定理有三个主要组成部分”} $\to$ \emph{“不可能保证三者同时满足”}），提高精确性（\emph{“不可能知道某些属性”} $\to$ \emph{“不可能同时知道位置和动量”}），并增加具体性（将一条泛化引语变为注明出处的 Saint Augustine 引文，且在两个规模上均表现一致）。已学习的曲面还可以进行机械式编辑：反转某一层的系数会使 10 个提示中的 9 个产生不同的贪心输出（KL~0.010），为模型引导提供了一种几何机制。将曲面系数设为 $-1$ 会形成“注意力墙”，阻断值信息沿特定维度流动。在一项初步实验中，覆盖整层的注意力墙将一个爆炸装置提示从具体操作指令重定向为一般性教育内容，表明了通过塑造流形来实现面向安全的控制的可能路径。