大规模 AI 辅助 A/B 实验的经验与陷阱

A/B 测试通过对拟议变更的影响进行可信且可复现的量化，为产品决策提供支撑。大型语言模型（LLM）能力不断增强，推动了自动化实验工作流的尝试。然而，LLM 具有非确定性且容易产生幻觉，这些特性与实验系统必须提供的可信度相冲突。实验在运营层面也十分繁琐：诊断异常、调试配置以及开展定制化后续分析，都需要灵活的推理能力和人工投入。这些任务使智能体能够在不取代实验确定性统计基础的情况下加速实验。我们报告了构建和运行此类智能体的经验。我们的核心发现是，这种张力并非通过使模型变得确定来解决，而是通过限制其非确定性能够触及的范围来解决；模型负责选择和编排流程，而确定性代码负责计算它所报告的每一个数值。三个结果令我们感到意外：不向模型提供某些信息反而改善了其回答；需求集中在日常的信息检索上，而不是我们预期的自主决策上；智能体急于提供帮助，反而威胁到了统计有效性。