LRCC：用条件计算推广低秩压缩

arXiv:2610.08858v1 公告类型：cross 摘要：低秩压缩通过用低秩分解替代线性变换，降低预训练语言模型的成本。然而，传统方法在推理过程中采用固定的秩分配，无论输入词元为何都分配相同的计算量。我们提出低秩条件计算（Low-Rank Conditional Computation，LRCC），通过为每个 Transformer 模块训练一个轻量级路由器，从一组规模较小的嵌套低秩路径中进行选择，为预训练模型引入依赖词元的计算。在训练过程中，低秩因子保持冻结，仅优化路由器。我们在 Llama 和 Qwen 模型上针对语言建模和零样本下游任务评估了 LRCC。在平均激活参数预算相同的情况下，LRCC 的预测性能优于静态低秩压缩；在 Llama-2-7B 上，其下游任务平均准确率较静态方法提升了 7.6 个百分点。在 batch-size-1 解码延迟相当的情况下，LRCC 在 Llama-3.2-1B 上同时提升了困惑度和下游任务准确率，并且在 Llama-2-7B 上仍具有竞争力，同时无需专用内核。最后，我们通过分析路由器对路径的选择，评估了为每个词元分配路径的实用价值。