LoRAForge：协同设计后处理压缩与执行，实现高效的多 LoRA 服务

多 LoRA 服务允许多个面向特定任务的适配器共享同一个基础模型，但扩展到大规模适配器集群时，会带来显著的存储、加载和执行开销。后处理压缩可以减少已训练 LoRA 适配器的内存占用，但更低的秩并不必然意味着更快的服务。例如，填充、因子访问和通用内核可能掩盖保留下来的低秩结构，而对数千个模块分别进行重新压缩也会产生显著的准备开销。我们提出 LoRAForge，该系统通过显式的保留秩表示，将批量因子构建与针对秩特化的执行连接起来。它支持两种分配策略：统一保留比例（LoRAForge-U）和谱能量预算分配（LoRAForge-S）。两者共用 FlashTSQR 因子构建和同一个服务后端。FlashTSQR 利用模块间和行分块间的并行性，相较于匹配的库 QR 实现，可将因子构建速度提升至最高 $2.28\times$。在工作量固定的 Qwen 对照实验中，共享运行时使两种压缩策略的吞吐量均提升至 $1.17$--$1.22\times$，而对原始适配器的增益可忽略不计。在 85 个已训练的开放权重 Qwen 和 Llama 适配器上，谱策略中设有秩下限的质量配置保留了约 7.7% 的适配器参数，而适配器集群的平均得分在 0--100 分制下最多下降 1.2 分。同样这些设有秩下限、保留比例为 $1/12$ 的谱策略导出适配器，在 AMD 和 NVIDIA GPU 上均实现了显著的 token 吞吐量提升。