当量化保留了准确率，却未保留证据：面向医学 LLM 的解释感知训练后量化
When Quantization Preserves Accuracy but Not Evidence: Explanation-Aware Post-Training Quantization for Medical LLMs
精选理由
揭示医疗大模型量化会损伤推理证据，并提供兼顾答案与解释忠实度的实用方法。
AI 摘要
训练后量化（PTQ）能够实现大语言模型的高效部署，而 PTQ 方法通常通过通用重构、困惑度或答案准确率进行优化和评估。然而，在解释至关重要的领域，仅保留最终答案可能并不足够，因为用户还可能检查生成的推理说明，以判断预测是否值得信任。我们在医学选择题问答任务中研究了这一问题；在该任务中，推理说明应提供支持所选答案的证据。 我们提出了一种面向基于变换的 PTQ 的解释感知目标。该方法从全精度教师模型的推理说明中构建离线忠实性缓存，并在优化过程中使用该缓存，以保留支持答案的证据词元以及由证据条件化的答案行为。我们在 W4A4KV4 量化设置下将其应用于 OSTQuant，并在 MedExQA、MedExpQA 和 ChallengeClinicalQA 上评估了四个 7B--8B 医学及指令微调 LLM。尽管使用相同校准数据的 OSTQuant 基线能够保留任务准确率，但它可能显著削弱支持答案的推理说明。我们的目标并非提升金标准标签准确率，而是保留全精度模型支持答案的行为；实验结果表明，我们的方法能够更好地保留全精度模型的答案行为以及推理说明对答案的支持关系。这些结果表明，在解释至关重要的场景中，PTQ 应评估支持答案的证据是否得到保留，而不应仅关注答案准确率。代码和评估脚本见 https://github.com/dut0817/EAQuant】【。