OnlineQAT：用于超低比特大语言模型的同策略蒸馏

arXiv:2610.09346v1 公告类型：交叉发布 摘要：量化感知训练（QAT）能够恢复大语言模型压缩至四比特以下时损失的大部分准确率。然而，现有的性能恢复阶段通常基于固定的补全文本或教师生成的答案进行优化，而部署后的量化模型则以自身生成的前缀为条件。因此，量化误差可能使模型进入离线恢复数据中未曾出现的状态。我们提出 OnlineQAT，这是一个两阶段框架：首先通过分块 QAT 获得可用的低比特初始化，然后基于学生生成的回答进行同策略蒸馏（OPD）。在每个访问到的前缀处，冻结的全精度教师模型提供基于采样的反向 KL 训练信号。在 Qwen3-1.7B 上，OnlineQAT 在所比较的量化方法中取得了最高的平均得分：W3A16 下为 57.28，W2A16 下为 32.52，分别比 ReasoningQAT 提高了 2.90 分和 0.44 分。结果表明，学生访问到的状态能够提供固定补全文本训练之外的有效恢复信号，尤其是在三比特量化下。