为多轮业务智能体设计可靠的 LLM-as-a-Judge 测量系统

许多 LLM-as-a-judge 评估是在固定任务定义下对固定输出进行评分。而生产环境中的多轮业务智能体需要的是一个可维护的测量系统：正确性取决于特定业务的事实和流程，结果会在多轮交互中逐步形成，而失败必须在可执行处理之前归因于智能体能力不足或业务知识缺失。我们提出了一套涵盖评估规范、模块化 LLM 评判器、保持意图的用户模拟以及人在回路治理的集成方法。该规范定义了对话级最终状态和可执行的失败归属。原子评判器共享版本化证据，并输入一个显式聚合图。模拟器只有在通过任务保持性和稳定性检查后才会发布。独立人工审计用于估计测量保真度，更新分层参考集，并将分歧分流至标签修正、指南修订或评判器改进。生产研究表明，系统级保真度在重复审计中有所提升；在共享反馈循环下，人工审核者和自动评判器共同改进；并且在两个报告的任务完成设置中，它们的组合工作流都具有最强的描述性表现。由于这些研究是观察性的，且人工参考本身也需要修订，因此这些发现证明的是操作层面的实用性，而非因果性或普遍优越性。本文的贡献在于提出了一个实用框架，使多轮智能体测量能够随着被评估系统及其证据的演进而保持可靠、可执行且可维护。