相同反馈，不同答案：衡量前沿模型客户反馈分析中的运行间不稳定性

AI agents 正日益被编程用于对大规模非结构化数据集合中的知识工作进行自动化处理。这类自动化要求具备可重复性：当底层证据不变时，即使每次单独给出的答案看似合理，agent 的分类、优先级和计数也不应在不同运行之间发生实质性变化。我们提出了一个重复运行评估框架，用于对语义等价的类别进行对齐，并关注两个运行指标：主题变动率，即返回类别集合的归一化变化；以及数量不一致度，即仍然存在的类别的计数变化。我们在八个前沿模型上评估了三项反复出现的客户反馈任务，涵盖从 100 到 5,000 条记录的语料库规模、多种提示词，以及三种执行设计：原始生成、不依赖分类体系的层级分解，以及使用持久化主题、子主题和记录级预测的分类体系驱动agent（TGA）。在固定使用 Claude Opus 4.8 和 1,000 条记录的语料库时，相较于原始生成和层级分解，TGA 将主题变动率降低了 86--88%，而匹配主题的数量不一致度为零。分类体系驱动agent 比评测中的每个原始模型都更加稳定，在每种语料库规模下也都保持更高的稳定性；即使收紧或放宽主题匹配标准，这一优势仍然存在。尽管本研究评估的是客户反馈，但该框架更广泛地适用于对非结构化语料库进行重复性综合分析，包括财务报告、法律文件、事件记录和科学文献。总体而言，这些结果表明，分类体系 grounding 能够为反复进行的知识工作产出更加一致且可重复的结果。