关于 AMR 增强对大型语言模型的（无）效性
On the (In)effectiveness of AMR Augmentation for Large Language Models
精选理由
研究发现，AMR增强未显著提升大模型表现，提醒研究者重视严谨的对照评估。
AI 摘要
尽管抽象含义表示（AMR）历来提升了多种 NLP 任务的性能，但迄今为止，AMR 增强对现代 LLM 的益处——或缺乏益处——尚不明确。本文尝试复现近期一项报告称 AMR 增强能带来显著下游性能提升的研究，并发现这些提升很可能源于实验设置中的特定选择：采用一致且统一的超参数选择方案后，我们观察到，仅使用文本的基线模型始终能够达到或超过 AMR 增强模型的性能。为探究这一无效结果，我们引入了一种基于困惑度的探测方法，用于衡量 AMR 在多大程度上为 LLM 提供了模型原本尚未掌握的补充性关系知识。我们发现，AMR 增强并不能帮助 LLM 提高对句子中关系内容的理解，这表明在这些模型中加入 AMR 并未为下游任务带来明确益处。