利用 AI 裁判进行可信的方法比较：顺序、批次与聚合效应下的估计与设计
Trustworthy Method Comparison with AI Judges: Estimation and Design under Order, Batch, and Aggregation Effects
精选理由
为AI评审比较方法提供统计模型与实验设计，减少顺序、批次和聚合效应导致的排名偏差。
AI 摘要
arXiv:2610.07755v1 公告类型：交叉收录 摘要：大型语言模型（LLMs）正越来越多地被用作自动化 AI 评估的裁判。一种常见做法是将提示序列随机化，并对所得评分取平均值，但其统计有效性尚不明确。我们表明，LLM 评估机制可以用一类马尔可夫广义线性混合模型（GLMMs）来近似，针对三款主流商业 LLM 的样本外预测结果支持了这一结论。我们使用一阶马尔可夫 GLMM 研究排行榜排名与组间比较问题。对于排行榜排名，在温和的分离条件下，随机化后取平均的选择方法具有一致性；当项目质量接近时，Williams 方阵设计可以提高效率。对于组间比较，由于响应模型的非线性，简单取平均可能导致关于组级质量差异的结论不具备一致性。实证结果进一步支持了所提出的基于模型的推断方法在一阶理论之外的有效性，包括具有高阶序列记忆的情形。我们通过一个由 AI 裁判比较两种图模型估计方法的应用来展示该方法。