LOCUS：面向任务的低秩后训练，实现高效令牌生成

大型语言模型的服务成本随输出序列长度直接增长，但标准的偏好对齐通常会在不提升实用性的情况下增加响应冗长度。我们研究了后训练更新的参数化方式是否会影响生成长度：低秩子空间能够在不改变对齐损失的情况下改变序列长度。我们提出 LOCUS，这是一种选择面向任务的低秩适配子空间的方法，旨在满足实用性约束的同时最小化输出令牌成本。在该子空间内，后训练保留原生偏好目标，并冻结主干模型。基于 Anthropic HH-RLHF 对话偏好数据集，我们评估了两个约 3B 参数的解码器主干模型 Pythia-2.8B 和 Qwen2.5-3B，并将其与遵循匹配协议的全参数 DPO 和 DrDPO 分支以及发布的 SamPO 检查点进行对比。LOCUS 在 Pythia-2.8B 上最多将延续长度缩短 39.84%，在 Qwen2.5-3B 上缩短 14.87%–17.58%，而仅更新模型参数的 0.24%–0.28%，且内部偏好诊断指标没有实质性变化。