用于细分 AI 评估的预测驱动平滑与验证

评估 AI 系统需要进行细分评估，因为其性能会因领域而异，例如基准任务类型或已部署智能体中的对话类型。穷尽式测试成本高昂，因此评估依赖于带标签单元的样本。我们将评估集视为有限总体，并寻求对每个领域均值进行准确的点估计和区间估计。直接估计量，包括 prediction-powered inference (PPI)，只使用某一领域自身的标签，因此在标签较少时精度不足。小区域估计用于解决这一问题，我们在其基础上开发了一个用于估计和验证的集成工作流。在估计方面，我们提出 prediction-powered smoothing (PP-S)，这是一种针对每个领域的 prediction-powered 估计进行拟合的 Bayesian 模型，并扩展为可在报告分类体系中借力的 PP-TS。在验证方面，我们推导出一种新的、近似无偏的基于设计的交叉验证分数，用于在直接估计量和平滑估计量之间进行选择。我们研究了一个具有可验证评分的精选基准，以及由人工评分的已部署智能体流量，两者均观测到每个结果。在这两项研究中，所提出的估计量在点估计和区间估计方面均优于直接估计量，并具有接近名义水平的覆盖率。在相同采样预算下，我们的分数选择效果与独立验证样本一样好，并且能更准确地估计所选估计量的误差。