RAT：用于 RAG 评估的统一贝叶斯模型

评估 Retrieval-Augmented Generation（RAG）系统不仅需要考察端到端的正确性，还需要分析各个组件如何相互作用以及错误如何在整个流程中传播。我们提出一种贝叶斯评估框架，它根据管道中的信息流，联合建模检索成功、拒答行为和答案正确性，并进行因子分解。该模型区分任务成功，即用户是否收到了正确答案（区别于生成器成功），以及在给定检索结果的情况下生成器是否表现得当。我们将该框架应用于跨三个数据集、三个检索器和三个生成器的 27 种 RAG 配置，结果表明，这种条件分解揭示了系统之间显著的行为差异，而这些系统在边际指标下看起来是等价的。我们进一步分析了标注分配问题，证明在估计策略遵循性时，检索成功标注比任务成功标注提供更多信息，并从信息论角度解释了这种不对称性。最后，我们将该模型扩展为把 LLM-as-a-judge 标注纳入为经过校准的噪声观测，从而使实践者能够在统一的概率模型中，将有限的人工判断与更廉价的自动化评估结合起来。