arXiv cs.AI精选81

答案更准确,证据约束更弱:同策略蒸馏中的证据绕过

Better Answers, Weaker Evidence Control: Evidence Bypass in On-Policy Distillation

· 1天前

精选理由

揭示蒸馏模型可能绕过证据,并提出配对训练方法,兼顾答案准确性与对文档证据的响应。

AI 摘要

同策略蒸馏(OPD)能够提高答案准确率,却可能削弱模型对支持性证据的响应能力。我们在科学文献问答任务中,通过配对文档干预研究这种分离现象:在保持问题和无关上下文不变的情况下,改变文档所支持的答案。我们识别出一种证据绕过现象:当文档发生变化、转而支持另一个答案后,学生模型仍保留原本正确的答案。在 QASPER 上,以 Qwen3-4B 为学生模型时,标准 OPD 将原始文档准确率提高了 3.4 个百分点,却使反事实准确率下降了 5.3 个百分点,并使证据绕过率提高了 15.7 个百分点;PeerQA 上也呈现出相同方向的变化。受控扰动实验将这一变化定位于决定答案的关键证据,而且学生模型在蒸馏前的闭卷设置下越偏好原始答案,证据绕过现象就越严重。我们针对教师目标、特权信息、散度和监督密度开展了因素分解研究,发现向教师模型明确提供经过标注的答案关键文本片段,能够在证据响应能力和论断支持度方面带来最大的联合提升。基于这些发现,我们提出 Evidence-Paired OPD(EP-OPD):对支持同一问题不同答案的配对文档实施同策略监督,并结合答案级间隔约束,使每份文档所支持的答案优于其配对文档支持的另一答案。在两个数据集和两种学生模型规模上,EP-OPD 挽回了标准 OPD 所造成的反事实准确率损失的 54–66%,同时保留了其原始文档准确率增益的 80–85%。我们的结果表明,除答案准确率外,证据响应能力也应作为一项独立的训练和评估目标。代码已公开发布于:https://github.com/RuoranXu/EP-OPD。

查看原文(arXiv cs.AI)