用于 LLM Data Agents 的 Trace Integrity：面向真实世界系统中可审计结构化推理的愿景

仅凭答案准确率不足以作为 LLM Data Agents 的可靠性信号。在结构化数据任务中，即使跟踪过程无效，也可能生成一个在基准上正确的答案。本文提出 Trace Integrity，作为一种部署可靠性标准，用于评估答案背后记录的计算过程是否是显式的、可执行的、符合 schema 的、遵循算子语义的、可重放的、与答案一致的并且可审计的。我们将 Structure Gap 定义为使 Trace Integrity 变得必要的部署失败模式：自然语言推理和自由形式的理由说明，无法可靠地指定真实系统所需的算子级程序。我们通过 execution contracts 来实现 Trace Integrity，这些结构化工件将用户意图绑定到 schema 元素、算子计划、假设、可执行查询、验证状态以及最终答案关联。我们还提出 CAIT（Correct Answer / Invalid Trace）Rate，用于衡量仅基于答案的评估有多频繁地把缺乏计算支持的输出算作成功。在对 BIRD Mini-Dev、Direct SQL、Operation Summary + SQL 和 Contract-First SQL 的实证展示中，Direct SQL、Operation Summary + SQL 和 Contract-First SQL 的答案准确率分别为 20%、22% 和 24%，而它们的 Trace Integrity 通过率分别为 39%、43% 和 40%，CAIT Rate 仍然很高，分别为 55%、59.1% 和 45.8%，表明答案准确率、跟踪有效性与静默失败风险是彼此不同的评估信号。因此，真实世界的 LLM data agents 不应只根据输出是否匹配参考答案来评估，还应根据这些输出是否由可审计的计算过程所支撑来评估。