Annotrace：用于对智能体轨迹进行步骤级标注的工作台

每项关于大语言模型智能体为何失败的研究，都始于手动标注轨迹；而每项此类研究，都会自行构建一个用完即弃的工具。可观测性平台会记录智能体轨迹，却不提供结构化标注；标注工具能够标注文本，却不理解步骤、委派或工具调用，因此始终难以明确应标注的最小执行单元是什么。Annotrace 可读取六种轨迹格式，包括 OpenTelemetry GenAI、LangSmith 和 Langfuse，并将每次运行转换为有序的嵌套步骤列表。标注员自行编写标注代码本；前沿模型从标注员自己的部分轨迹样本中提出一组起始标注，先给出答案，然后接受与人类完全相同的问题，使标注成为人类与 AI 协作的过程。Annotrace 可衡量任意两名标注员（无论是人类还是 AI）之间的一致性。在一个多智能体问答语料库上，它完全复现了此前人工工作中的 235 个标注单元；两个模型对相同轨迹进行标注时，有 91% 的结果一致，且 κ=0.82。