重新思考 LLM 的忠实性：成对的上下文敏感视角

arXiv:2610.07894v1 公告类型：交叉发布 摘要：大型语言模型（LLM）应当忠实地依据所提供的上下文回答问题，并在上下文信息不足以回答问题时选择不作答。现有的忠实性评估通常孤立地考察每个问题—上下文实例；然而，这种实例级评估无法捕捉忠实行为的一项基本要求：根据可用上下文的变化调整模型响应的能力。具体而言，模型应在证据充分时给出正确答案，在证据不足时不作答。在本研究中，我们提出了 Pairwise Faithfulness Benchmark（PFaithBench），用于评估模型能否针对同一个问题，在提供支持证据与不提供支持证据的上下文之间切换作答与不作答。我们对七个模型家族中的三十九个模型进行了评估，结果表明，忠实性从根本上涉及作答与不作答之间的权衡，而当前大多数模型都表现出强烈的作答倾向，大多数忠实性错误源于过度作答，即模型即使在所提供的上下文不足时也倾向于编造回答。我们进一步开展了一系列研究，考察不同数据构建方式下的忠实性训练。结果表明，训练效果对作答数据与不作答数据的具体组成高度敏感。从不匹配的来源构建作答与不作答数据，可能导致模型依赖特定数据集的捷径，而非判断上下文是否确实充分。此外，增加答案监督数据可以提升作答表现，但会加剧过度作答；增加不作答数据则可以减少幻觉，但会导致过度不作答。代码和数据已发布于 https://github.com/tmlr-group/PFaithBench。