大语言模型中的领域特定幻觉检测

大语言模型能够生成流畅的文本，但其中可能包含不忠实的陈述——这一现象称为幻觉。我们提出了一种多信号检测流程，将经过微调的 DeBERTa-v3 分类、Monte Carlo (MC) Dropout 不确定性量化以及温度缩放校准相结合，用于响应级幻觉检测。在 HaluEval 基准测试中，该流程在通用领域任务上取得了 F1=0.915 和 AUROC=0.977 的成绩，各任务的 F1 分数分别为：0.97（问答）、0.96（摘要）和 0.82（对话）。MC Dropout 推理进一步将准确率提升至 93.2%。上下文消融研究证实，该模型执行的是真正的蕴含推理，而不是利用表面模式；移除知识上下文后，摘要任务的 F1 分数下降了 24%。学习曲线分析表明，使用 25% 的训练数据即可达到完整数据训练效果的 77%。除检测之外，我们还对 Qwen2.5-0.5B 生成模型应用了 Direct Preference Optimization (DPO)，根据我们的检测器测量结果，将其幻觉率从 85.5% 降至 37.7%，相对降低 55.9%。在 SciFact 生物医学基准测试上的跨领域评估显示，通用领域训练的迁移效果较差（F1=0.52），这说明有必要进行领域特定微调。在 SciFact 上进行微调的 PubMedBERT 达到 F1=0.63 和 AUROC=0.81，表明领域匹配的预训练是最有效的适应策略。代码和模型可在 https://github.com/varunteja99/hallucination-detection-nlp 获取