风险感知对齐必须纳入奖励不确定性
Risk-Aware Alignment Must Incorporate Reward Uncertainty
精选理由
提出将奖励不确定性纳入对齐优化，可降低策略劣于参考策略的风险，提升大语言模型对齐的稳健性。
AI 摘要
arXiv:2410.23726v2 公告类型：replace-cross 摘要：我们考虑带噪声奖励下的策略优化问题，其中策略被约束在参考策略的邻域内。我们研究策略优化过程的风险，将其定义为得到劣于参考策略的策略的概率。在带噪声奖励函数的理想化多元高斯模型中，我们证明，在参考策略的适当局部邻域内，实现最优风险的正则项是由奖励协方差矩阵加权的二次范数。基于这一结果，我们提出了一种通过奖励方差估计进行正则化的新策略优化算法。在合成多臂老虎机模型、大语言模型和奖励模型上的实验表明，该算法能够取得比现有方法更稳健的对齐结果。