知道何时停止：用于 LLM 评估的贝叶斯最优停止

LLM 评估通常使用固定的采样预算，即使估计已经足够精确，也会对每个项目测试相同次数。我们提出 optstop，这是一个基于精度的自适应停止框架，将评估视为一个序贯测量问题：在不确定性仍然较高的地方继续采样，在估计已经足够精确或稳定的地方停止。该框架建立在层次贝叶斯推断之上，支持二元、有序和连续结果，并使每个基准测试项目都保持可被采样的资格，而不需要经过校准的题项库。它可以实时运行，也可以回溯运行，并包含一种保护机制：当测得的性能接近零时，会更谨慎地增加采样，因为此时罕见的成功最为重要。在一个包含 200 个项目、10 个 epoch 的示例性评估中，它在九种验证设置下减少了 57%-97% 的计划试验，而总体结论与完整运行等价。这些结果表明，LLM 评估计算资源可以按不确定性而非固定重复次数来分配，节省幅度取决于评估设计。