为语言模型智能体保障组织轨迹证据：片段、方法与残余

评估语言模型智能体的方法包括日志上的规则检查器、技能覆盖率与组合分析、支持检查器、前缀监控器、执行门控器以及罕见事件估计器。每种方法观测运行过程的不同部分，并提出不同强度的主张，但目前没有统一的说明来解释这些主张如何结合，或它们还遗漏了哪些内容。我们给出了一种统一说明，它由一种逻辑、信息片段和保障账本构成。需求被表示为一种双层逻辑中的公式：外层是针对记录事件的有限轨迹时序逻辑，内层则是一种关于论证结构的立场逻辑，用于描述智能体在作出决策时其记录上下文所支持的论证结构。因此，规则违规和基于已撤回支持而采取的行动，都是同一种语言中的公式。评估者、智能体和执行门控器可获得的信息，定义了这种语言的不同片段；每种检查方法判定其中一个片段，并返回带类型的主张：精确主张、针对指定测试套件的主张、风险界限或描述性主张。账本合并这些证据，并将每项义务分类为已确立、已处理但未确立，或未处理。在已发布的 456 条 $τ^2$-bench telecom 轨迹上，基准预言器标记出 231 次运行；加入规则检查器、支持替代器和前缀监控基线后，标记结果的并集分别增至 391、401 和 407 条，每种方法都发现了其他方法遗漏的标记；在经过门控的部署中，一个门控器使一项禁令得以精确判定。49 次未被标记的运行，以及尚未满足或尚未处理的义务，构成了残余。通过发现过程，可以将未知需求明确化，随后新的或更强的检查器便能进一步缩减残余。