一个词元需要多少秩？面向秩一 LoRA 专家的噪声底静噪机制

arXiv:2610.19033v1 公告类型：新提交 摘要：低秩适配（LoRA）将其更新中的每个秩一分量应用于每个词元，而混合专家变体则用一个经过学习的路由器来替代这一做法，激活固定数量的分量。我们认为，一个词元需要多少分量是一个检测问题，而经典理论已为此提供了答案。词元对训练后的 LoRA 秩一分量的响应表现为高斯噪声底之上的少数较大值，该噪声底的宽度与未训练适配器的噪声底宽度相当，且其中承载的是串扰而非适配信息。我们提出 SQUELCH，这是一种无需路由器的秩一专家混合方法，它会：(i) 以每个词元自身稳健噪声水平的某个倍数为阈值，对其响应进行软阈值处理，使激活秩随词元而变化；(ii) 利用 Stein 无偏风险估计，为每个模块选择该倍数，因此无需指定秩预算；(iii) 在值向量的 Gram 矩阵上执行一步解释消除，以取代由此得到的边际保留或丢弃决策，从而抑制同时激活的冗余分量，并引入互补分量。SQUELCH 不会为 LoRA 增加任何可训练参数。我们证明，静噪机制与依赖输入的预言机分配方案之间的差距在一个对数因子以内，所选阈值具有风险一致性，且解释消除是朝向联合稀疏编码的一个下降步骤，其误差受同时激活分量之间的相干性控制。在使用 LLaMA-3.1-8B、Qwen3 和 DeBERTaV3 进行的常识推理、知识、数学、代码及 GLUE 评测中，SQUELCH 比 LoRA 提升了 2.2–3.2 分，比最强的混合专家基线提升了 0.8–1.2 分，同时每个词元平均仅激活 32 个分量中的 8.6 个。