上线前筛选：面向1.4亿规模生产环境客户体验 AI 智能体的仿真

客户体验（CX）智能体利用工具和大型语言模型来处理客户请求，并引导客户与组织产品进行对话式交互。改进这类智能体，尤其是在受监管行业中，十分困难：它们必须识别意图、遵循复杂的运营政策，并可靠地使用工具。人工端到端测试的覆盖范围有限，而在线实验则会让客户暴露于可能侵蚀信任的故障之中。 我们提出了一种基于假设驱动的仿真工作流，用于在部署前筛选候选 CX 智能体。合成客户会对智能体的响应作出反应，而仿真的工具输出则能够在不调用生产后端的情况下支持多步骤智能体工作流。我们在 Nubank 的 Card Delivery 智能体及其扩展继任者 Card Management 上使用了 Snowglobe 仿真器；后者是 Nubank 在巴西交易量最高的聊天支持智能体。在4个已部署版本中，仿真环境与生产环境的版本级二元评估器评分呈现出高度相关性。仿真引导的迭代使一次在线 A/B 测试中的交易净推荐值（tNPS）提升了36.69分。我们还在超过16,000次仿真对话中筛选了开放权重配置。在随后的一次在线 A/B 测试中，入选模型将自助服务率（SSR）提升了8.82个百分点，达到 Nubank 有记录以来的最高水平，同时 tNPS 没有发生统计显著变化。仿真使我们能够在不让客户暴露于风险的情况下，广泛探索模型、推理设置和提示词，从而实现生产环境改进；若仅依靠在线实验，这些改进实际上难以开展。