DialFork：超越事实性，评估对话智能体中的流程幻觉

部署为对话智能体的大语言模型（LLMs）日益被要求遵循流程逻辑。尽管事实幻觉已受到广泛关注，另一种失效模式却一直被忽视：流程幻觉，即智能体生成的每条话语都流畅且在事实上看似合理，却偏离了预期的对话流程。我们提出 DialFork，这是首个基于原始对话文本衡量此类失效模式的基准。DialFork 通过在受控的轮次位置对符合流程的对话创建分支，并注入四种幻觉类型之一构建而成，包含覆盖 12 个领域、24 项任务的 36,278 段对话；30 名人类标注员对其构建进行了验证。我们定义了三项评估任务，从三个粒度刻画流程偏离：一组对话相对于符合流程的对话偏离了多少（监控已部署的智能体）、单段对话偏离了多少（流程检索），以及对话最早在哪一轮偏离正轨（实时护栏）。针对前两项任务，我们提出了具有对话流程感知能力的指标 FlowKL 和 FlowScore，它们根据对话的展开方式而非内容来比较对话。在对话层面，FlowScore 在七种编码器上的表现均显著优于所有基线方法，表明语义相似性无法替代流程相似性。我们在 MIT 许可证下于 https://github.com/idiap/dialfork 发布 DialFork，希望社区在衡量对话内容的同时，也衡量对话流程。