为更新评分，而非为词元评分：面向下降方向对齐的组合 LoRA 专家路由

arXiv:2610.00493v1 公告类型：新 摘要：LoRA 专家混合方法通过将每个词元路由至少数低秩专家，提升了低秩适配的容量。几乎所有这类方法都会将每个专家的一个输入侧因子与一个输出侧因子绑定在一起，而且几乎都通过对词元评分来进行路由：路由器在看不到任何专家将写入什么内容的情况下选择专家。我们认为，路由器应当对更新进行评分。一阶近似下，将某个专家的更新添加到层输出中，会使损失降低的幅度等于该更新与输出处负损失梯度之间的内积。这种有效性关于词元是二次的，因此对词元呈线性的路由器只能看到其中经由词元均值传递的部分；而那些依据专家自身激活值的范数对专家排序的路由器，则完全看不到输出因子。如果将每个专家拆分为读取器（下投影）和写入器（上投影），每个读取器—写入器组合的有效性就会变成共享秩-$r$空间中的内积，并且全部 $N_AN_B$ 个组合都可以利用 $N_A+N_B$ 个向量完成评分。我们基于这一恒等关系构建了 VANE。一个低秩指南针预测每个词元的下降方向。VANE 通过其更新与指南针之间的对齐程度为每个组合评分，而无需构造任何更新；它采用带加性门控的方式激活得分最高的前-$k$ 个组合，并为每个组合提供精确的一阶路由器梯度。在使用 Llama-3.2-3B 和 Llama-3.1-8B 进行的单领域常识推理任务，以及一个包含四个领域的多任务混合任务中，VANE 在十二个 PEFT 和 MoE-LoRA 基线方法中取得了最高的平均成绩，分别领先 0.9—1.1 分和 1.3—1.5 分；与此同时，其可训练参数不到 8 专家 MoE-LoRA 的一半。与词元路由器相比，其路由器评分也与实测的专家有效性更加吻合。