RubricOpt：面向偏好优化的语义评估准则自修订

模型的失败可以揭示指导其训练的行为标准存在缺口。我们提出 RubricOpt，这是一个允许策略在偏好优化过程中修订这些标准的框架。该策略诊断自身不使用评估准则生成的输出，保留评估准则已涵盖的要求，并编辑未能解决反复出现的失败的条款。一个共享的语义表示连接任务要求、偏好数据中的对比以及评估准则条款，同时，确定性门控机制检查证据引用和固定的语义锚点。随后，在训练期间，该评估准则指导 Direct Preference Optimization (DPO)；偏好对、标签和目标函数均保持不变，并在评估时移除该评估准则。我们的分析将评估准则缺失时成功率的局部影响与语义对齐及一个超出已测量因素的残差联系起来。在能力和开放式生成基准上的实验表明，与普通 DPO 相比，评估准则条件化可以改善结果，但增益和退化会因模型和数据集而异。一项匹配的延续实验从额外训练中分离出修订的贡献，并发现，对于所测试的编辑，其增量效果不一，且该编辑的反馈与评估集存在重叠。因此，RubricOpt 将行为规范本身纳入策略的反馈回路。