用于 A/B 测试模拟的数据驱动人物画像条件智能体
Data-Driven Persona-Conditioned Agents for A/B Test Simulation
精选理由
帮助读者以低成本预判A/B测试结果,提升实验预筛效率
AI 摘要
A/B 测试是评估产品变更的黄金标准,但每次实验都需要真实用户流量、工程投入以及数周的观测时间。我们提出一个模拟框架,利用由 LLM 驱动、以基于真实用户行为信号构建的数据驱动人物画像为条件的智能体来预测 A/B 测试结果。不同于依赖合成或基于规则的人物画像的先前工作,我们的智能体由匿名化行为数据、活动模式、参与度信号以及推断的人口统计特征构建而成,从而能够更真实地建模总体人群。我们将 A/B 测试模拟表述为一项结构化问答任务,并系统研究:(i) 问题设计格式,(ii) 人物画像数据来源与领域对齐的影响,(iii) 单个人物画像的行为深度与总体多样性之间的权衡,以及 (iv) 高效的人群子采样。在一个涵盖两类指标的 40 个 A/B 测试基准上,我们的最佳配置根据测试指标不同可达到 0.75–0.90 的方向准确率,表明数据驱动人物画像是实现快速、低成本实验预筛选的一条可行路径。