Agent 评估的可靠性：更多任务并不（总能）修复 Agent 排行榜

arXiv:2610.00651v1 发布类型：cross 摘要：Agent 评估正日益被用于比较 LLM，并为部署决策提供依据，但排名所反映的不仅是模型本身，还可能受到脚手架或任务等评估条件的影响。因此，可靠性取决于所要支持的结论：能够可靠地对已部署系统进行排名的评估，未必能够可靠地对底层模型进行排名。我们探讨当前的 Agent 评估能够可靠地支持哪些结论，以及哪些额外评估可以改进这些结论。我们为稀疏且不平衡的 Agent 排行榜构建了一个贝叶斯方差分解框架，并将其应用于 Holistic Agent Leaderboard 和 Harbor Index 中的 22 个基准测试。该框架将信号（与预期结论相关的性能差异）与噪声（不相关但仍可能改变排名的变异）区分开来。我们发现：（1）可靠性取决于测量目标。固定模型—脚手架系统的排名具有较高可靠性（0.935-0.994），而底层模型的可靠性则显著较低（0.148-0.841）。（2）脚手架的选择可能改变结论。跨脚手架可靠性衡量不同脚手架是否保持模型排名，从而表明脚手架效应在不同评估中存在显著差异。（3）更多任务无法解决所有不确定性。即使任务数量趋于无穷，当不确定性主要由有限的脚手架覆盖范围导致时，以相似方式构建的更多任务最多也只能使某个基准测试的模型排名可靠性提高 0.097。（4）汇集多样化的基准测试可以以更低成本改善跨任务排名。对于跨多种 Agent 任务的排名，在任务预算相同的情况下，汇集基准测试可将预期可靠性从 0.44 提高到 0.75，并且最多可将预期成本降低 83\%。评估设计应当遵循预期结论：明确分数或排名应当代表什么，诊断哪些因素限制了其可靠性，并将评估预算投入到真正重要的不确定性来源上。