基于重复评分预测局部代理优化下的人类感知质量增益曲线

优化代理目标可以提升人类感知质量，但所产生的增益会随优化强度而变化。仅凭代理指标与人类评价之间的平均相关性，无法揭示人类感知质量如何随优化强度的增加而变化。我们提出 PACE（Proxy Alignment and Curvature Expansion），这是一种优化前诊断方法，利用重复的人类评分来预测固定代理指标所诱导的人类感知质量增益曲线。该方法将代理优化建模为带 KL 正则化的指数倾斜。在 KL 半径为 $d$ 时，局部增益近似为 $A\sqrt{d}+Bd$，其中 $A$ 衡量代理指标与人类评价的一阶对齐程度，$B$ 则刻画沿代理优化路径的主导二阶修正。我们根据校准条目上的重复人类评分估计 $A$ 和 $B$，并在留出的评估条目上检验由此得到的增益曲线预测。在 SummEval、符合分析条件的 WMT MQM 簇、OpenMEVA-MAGS 的 ROC/WP 重复评分子集以及一项 GPT-4o 评判器代理实验中，相较于仅使用 $A$、零增益和仅使用可靠性的基线，PACE 均能降低留出数据上的增益预测误差。在使用相同的优化前条目池信息时，其表现可与灵活的代理条件校准方法相媲美，而一项 LoRA-DPO 实验则为该方法与实际优化之间提供了有限的衔接证据。跨数据集和评估子集的迁移实验表明，源域系数是有用的先验，但目标域校准可进一步改善预测。最终得到的诊断具有局部性和单侧性：它刻画的是在固定条目池上沿正向倾斜分支进行的温和优化。