资源硬约束下用于 LLM 评估的动态预算分配

arXiv:2610.07362v1 公告类型：新论文 摘要：我们通过事件发生时间来评估大型语言模型（LLM）在多轮交互中的表现：即产生感兴趣事件所需的交互步骤数，例如成功越狱或完成智能体任务。在计算资源有限的情况下，交互可能在事件发生前终止，因此事件时间只能被部分观测到（即存在删失）。现有用于校准事件发生时间界限的分配方法只能在期望意义上满足预算，在某次具体评估运行中可能超出可用预算。由于轨迹成本在初始时并未知晓，执行硬约束尤其具有挑战性。我们提出用于预测校准的带重流硬预算分配方法（HARP），该方法能够满足硬资源约束，并自适应地重新分配未使用的预算。我们展示了如何使用 HARP 构造事件发生时间的下预测界（LPB），并在固定基准上估计越狱率等评估指标。尽管 HARP 会导致不同轨迹之间的采集决策产生依赖关系，但我们证明，HARP 从不超出目标预算，其 LPB 具有有限样本覆盖保证，且其指标估计是无偏的。在智能体任务成功、LLM 越狱、有害内容生成和 RAG 幻觉方面的实验表明，HARP 在从不超出给定预算的同时，以较低方差实现了接近名义水平的覆盖率。