当重构损失更低反而有害：面向低比特 LLM 量化的分布鲁棒细化
When Lower Reconstruction Loss Hurts: Distributionally Robust Refinement for Low-Bit LLM Quantization
精选理由
提出分布鲁棒量化细化方法，提升低比特大模型下游性能且不增加推理开销
AI 摘要
arXiv:2610.11226v1 公告类型：cross 摘要：仅权重量化的训练后量化（PTQ）高度依赖于最小化重构损失，以在低精度下保持模型质量。我们发现，通过最小化该损失所选出的权重未必能在新任务上带来更好的模型性能。事实上，我们发现，更低的重构损失甚至可能导致模型在相同校准数据上的性能下降。我们的进一步分析表明，在校准数据上具有更低重构损失的权重，在输入激活分布发生变化时，其损失可能高于其他权重。基于这些观察和分析，我们提出分布鲁棒量化（DRQ），一种事后细化过程，通过在受约束的输入激活分布集合上最小化最坏情况下的重构损失来优化量化结果。DRQ 在现有量化网格内细化表示量化权重的整数代码，同时保持量化参数和推理算子不变。大量实验表明，DRQ 能够改进由六种具有代表性的 PTQ 方法量化的模型，包括 AWQ、GPTQ 和 ParoQuant，并且在稠密大语言模型和混合专家大语言模型上均能带来收益。这些结果表明，DRQ 是一种适用于仅权重量化 PTQ 的通用事后细化框架，无需增加推理开销即可实现更好的下游性能。