幻觉自博弈：通过演化生成器自举强化检测器

arXiv:2607.07993v2 公告类型：replace-cross 摘要：由于高质量标注数据的稀缺，识别 LLM 生成输出中的忠实性幻觉仍然具有挑战性。近期研究依赖先进 LLM 合成训练数据，包括推理过程、标签和幻觉性陈述。然而，这些方法将生成器视为静态组件，限制了检测器的迭代改进。为解决这一局限，我们提出 Hallucination Self-Play（HSP），一种使检测器能够借助演化生成器实现自举的新型框架。HSP 包含两个由同一基础模型初始化的角色：评估模型输出忠实性的检测器，以及生成越来越难以被检测出的幻觉响应的生成器。具体而言，我们首先在人工标注数据上对检测器进行微调，然后将其作为奖励模型，通过基于 AI 反馈的强化学习（RLAIF）训练生成器。随后，演化后的生成器合成幻觉数据，并通过基于规则的强化学习进一步优化检测器。在三个模型系列上的 RAGTruth 和 LLM-AggreFact 实验表明，无需外部监督，所提出的框架能够逐步提升小型 LLM，使其达到甚至超过先进 LLM 的性能。我们的代码已发布于 https://github.com/maybenotime/Hallucination_Self-Play。