PromptOps：面向 LLM-as-a-Judge 系统的迭代式提示优化

大型语言模型（LLM）正越来越多地被用作自动化评判器，以评估聊天机器人和其他 AI 系统的行为。然而，在部署过程中，随着用户交互和评分分布的变化，它们与预期人类评估准则的一致性可能下降。现有的自动提示优化方法主要作为静态开发集上的一次性流程进行研究，因此对于如何长期维护 LLM 评判器的指导有限。我们将这一问题定义为评判器漂移，并提出 PromptOps，这是一个用于监测和迭代校准 LLM-as-a-Judge（LLMaaJ）系统的闭环框架。PromptOps 将四项运行决策分开处理：何时优化、采用哪种优化流程、使用哪些反馈记录，以及如何更新评判器提示。我们使用五种提示优化方法对该框架进行具体实现：GEPA、SIMBA、Rubric Synthesis，以及分别采用模拟退火或树结构 Parzen 估计器的两种示例选择方法。实验表明，迭代式提示优化能够重新校准 LLM 评判器，并在参考评分分布发生受控偏移后恢复其性能。然而，有效维护本质上依赖于具体情境：无论是优化算法的选择还是更新时机，都无法在不同场景下普遍适用。这些发现确立了一个认识：已部署 LLM 评判器的提示优化本质上是一个迭代式维护问题，同时也表明 PromptOps 为研究和实施这一过程提供了实用的抽象框架。