从看似合理的层级结构到实用的分类体系：基于客户反馈评估智能体运行框架

arXiv:2610.09377v1 公告类型：交叉收录 摘要：分类体系是 AI 系统用于组织证据、汇总模式并针对大规模文档集合回答问题的符号表示。在客户反馈场景中，类别树决定每条记录如何被统计和分派、哪些问题能够被发现，以及由哪个团队负责。如今，智能体运行框架让生成看似合理的层级结构变得轻而易举，而目前对此类树的检验采用的是通用的、针对单个节点的检查：每个名称是否符合其描述、是否位于正确的父节点之下，以及是否与兄弟节点保持区别。我们提出了一个更贴近实际运作的问题：生成的层级结构何时才能真正成为生产环境中实用的分类体系？我们基于两个专有反馈语料库（分别包含 1,940 条和 5,000 条记录）构建了六个分类体系：每个语料库对应一个生产环境参考体系，以及在相同输入下对同一运行框架重复运行两次所生成的体系。这六个体系全部通过了所有通用的命名和结构检查，而更深入的产品覆盖度检查甚至更偏好生成的树。然而，每棵生成树中至少有 97.7% 的叶节点名称仅仅是在重述某个祖先节点的名称（两个参考体系中的这一比例分别为 13.9% 和 2.9%）；其中一棵生成树中，每四条记录就有三条归属于多个顶层类别。我们引入了两类针对整棵树的指标：结构判别指标用于检验树的形态究竟是从数据中学习得到的，还是由生成器强加的；团队可划分性指标用于检验各分支是否将反馈划分为可由不同团队负责的组。被通用检查评为同等正确的两棵树，其跨分支泄漏率相差 27 个百分点，而且其中仅有一棵优于随机划分。表面上的合理性不足以衡量分类体系的质量：评估不仅必须衡量每个节点，还必须衡量整棵树。