从检索到客户上下文：评估用于客户之声分析的前沿模型系统

arXiv:2610.09375v1 公告类型：新 摘要：越来越多的组织使用前沿语言模型分析客户反馈，但回答质量也取决于这些反馈如何被组织和提供。我们将\emph{Customer Context Graph}定义为客户与业务上下文的统一模型。类型化关系连接客户对象（反馈、对话、用户和账户）、运营对象（工单、支持代理、商机和竞争对手），以及分析或行动对象（分类体系概念、证据、洞察、工作项和结果）。这使代理不仅能够调查客户说了什么，还能了解其原因、受影响者、后续采取了什么行动、由谁负责，以及问题是否得到解决。在本实验中，该图谱由公开的 Cursor 反馈构建；同一架构也可支持任何类型的反馈来源。我们使用相同的 9,432 条公开 Cursor 反馈记录和 30 个现实的产品、事件、比较及元数据问题，对比了 Agentic RAG、Deep Research Agent 和 Customer Context Graph-backed Agent。在缺乏详尽真实答案的情况下，我们依据一套针对 30 个问题中的 28 个进行校准的比较评分标准，从回答质量（覆盖面和组织性）、分析深度（具体性和分解程度）以及证据质量（引用支持和可追溯性）三个方面对回答进行联合评分。我们根据各项主张抽样检查被引用的记录，并对三个维度赋予相同权重。在这一对齐后的评分标准下，Customer Context Graph-backed Agent 的总体得分为 0.961，而 Deep Research Agent 和 Agentic RAG 分别为 0.710 和 0.651；在 30 个配对问题中的 27 个问题上，它领先于 Deep Research Agent（符号检验 p < 10^(-5)；在 30 个问题中的 26 个上严格领先）。其最大优势在于分析深度（0.967 对 0.642），体现为更具体、层次更清晰的发现，以及经过量化的主题和可追溯的证据……