当真值并非真值：用于幻觉检测的自动标注

大型语言模型（LLMs）中的幻觉仍然是一项重大挑战，因为模型可能生成具有误导性、事实错误或无法验证的信息，从而损害其可信度与可靠性。然而，可靠的真值标签仍是评估幻觉检测器面临的关键挑战。近期研究通常通过使用 BLEURT 等相似度指标，将模型生成结果与参考答案进行比较来自动构建标签。这实际上将 BLEURT 相似度视为幻觉的代理指标，尽管 BLEURT 的监督以英语为中心、分数范围无界，且其设计目标是衡量相似度而非事实性，因此基于阈值构建真值可能并不可靠。通过使用 15 个自动监督评判器、7 个幻觉检测基线、2 个生成模型、2 个问答数据集和 5 种语言开展全面实验，我们证明检测器性能会因监督评判器的选择而发生显著变化。人工验证显示，不同方法的标注可靠性存在明显差异，其中 QGen-9B 的总体误分类率最低，为 12.86%；而 BLEURT 和 BLEURT-n 的误分类率分别为 47.23% 和 47.32%。我们的研究结果凸显了基于自动相似度的标注方法的局限性，也表明亟需更可靠的评判方法，以更好地捕捉语义正确性和事实正确性。