句子级上下文敏感性：作为无需训练的无依据内容检测器，并与经过训练的验证器进行评估

arXiv:2607.04223v2 公告类型：替换交叉版本 摘要：检索增强生成（RAG）助手会在临床和法律工作中总结记录，因为其中一个缺乏依据的句子就可能误导读者。输出在有无其来源时的似然差异，是一种用于评估整篇摘要和答案可信度的成熟指标，但此前尚未针对多段落 RAG 答案中的单个无依据句子，将其作为检测器与经过训练的验证器进行比较，也未评估其成本。我们将其实现为一种无需训练的检测器：在完整上下文、无上下文以及分别移除每个文本块的情况下，对固定答案重新评分，并将移除后使某个句子的似然下降最多的文本块返回为候选支持段落。我们在 RAGTruth、TofuEval 和 RAGBench 上使用六种评分器进行评估，并在源级划分下，对相同输入将其与五种验证器进行比较，直至大型语言模型（LLM）评判器。在三个基准上，按句子评分对无依据句子的排序效果均优于同一信号的答案级形式，接收者操作特征曲线下面积（AUC）提高了 0.033 至 0.071。在 RAGTruth 上，无需训练的评分在不同评分器上的 AUC 达到 0.717 至 0.745，使用分类器时达到 0.773，优于蕴含和归因基线，与逐文本块事实核查器相当；在使用 1.5B 评分器时，其计算量约为 LLM 评判器的四十七分之一，而完整上下文事实核查器和该评判器的准确率更高，且不会因采用这一方法而提升。在简短答案问答任务上，该信号最弱，因为评分器可以凭记忆作答。