PromptOps：面向 LLM-as-a-Judge 系统的迭代式提示优化

arXiv:2611.07123v1 公告类型：交叉发布 摘要：大型语言模型（LLM）正越来越多地被用作自动评判器，以评估聊天机器人和其他 AI 系统的行为。然而，在部署过程中，随着用户交互和评分分布的变化，它们与预期的人类评估准则之间的一致性可能会下降。现有自动提示优化方法的研究主要将其视为静态开发集上的一次性过程，因此，对于如何长期维护 LLM 评判器，这些研究提供的指导有限。我们将这一问题定义为评判器漂移，并提出 PromptOps，这是一个用于监控和迭代式重新校准 LLM-as-a-Judge（LLMaaJ）系统的闭环框架。PromptOps 将四项运维决策分离开来：何时优化、采用哪种优化流程、使用哪些反馈记录，以及如何更新评判器提示。我们使用五种提示优化方法实现该框架：GEPA、SIMBA、Rubric Synthesis，以及分别采用模拟退火或树结构 Parzen 估计器的示例选择方法。实验表明，在参考评分分布发生受控偏移后，迭代式提示优化能够重新校准 LLM 评判器并恢复其性能。然而，有效的维护本质上依赖于具体情境：无论是优化算法的选择，还是更新时机，都无法在不同场景中普遍适用。这些发现表明，已部署 LLM 评判器的提示优化本质上是一个迭代式维护问题，并证明 PromptOps 为研究和实现这一过程提供了实用的抽象框架。