VERITYGATE：一个四门控的模式级忠实性框架，以及用于基于结构化证据的 LLM 叙述的配对基准

arXiv:2610.00833v1 公告类型：cross 摘要：流畅的 LLM 解释可能并不遵循结构化系统中的证据。我们提出 VERITYGATE，这是一种针对已声明证据 ID、实体、数字和声明类型的四门控检查器。它检查固定模式，但不会验证 prose 中的每一个事实。在 r=0 和 r=1 时，我们针对每种设置分别测试了 900 个实例（450 对有依据-无依据样本），使用的模型包括 GPT-4o-mini、Llama-3.3-70B 和 Claude Sonnet 4.6。在这一模式级契约下且修复之前，mini 的声明有 80.3% 未通过检查，Sonnet 的声明有 47.9% 未通过检查。这些是验证器拒绝率，而不是 prose 幻觉率。一次修复使 mini 的声明存活率从 19.7% 提升至 28.0%，使 Sonnet 的声明存活率从 52.1% 提升至 54.3%。每个示例的经验证声明数对 mini 增加 0.14，对 Llama 减少 0.71，对 Sonnet 减少 0.47，因此必须同时报告存活率和输出量。第二次 Sonnet 处理没有带来明确收益。在 r=1 时，对于 mini、Llama 和 Sonnet，Gate 4 分别覆盖了失败声明的 97.0%、98.7% 和 100%。小规模人工研究支持这些规则，但也显示出模式检查与 prose 正确性之间存在差距。一项特定领域的 GPT-4o 评审测试显示出顺序效应，因此它只能作为有用性检查。我们发布代码和数据。