奖励模型记住了什么？
What do Reward Models Memorize?
精选理由
揭示奖励模型的记忆偏差与捷径依赖，助力构建更可靠的偏好评估系统
AI 摘要
arXiv:2607.24484v2 公告类型：替换 摘要：本文通过测量两个人工偏好数据集上的反事实记忆，研究经过判别式训练的奖励模型（RMs）会记住什么。我们发现，RMs：1）将记忆错误地分配给容易的、高间隔偏好对；2）记住数据集特有的捷径（例如模型身份、用户采样策略）；3）在面对未见过的偏好对时，过度泛化与人类偏好相关的简单启发式特征（例如长度、遵从性）。总体而言，我们的研究结果表明，基于人类偏好数据对RMs进行判别式训练，会产生存在偏差的RMs，它们尚不能在依赖上下文的场景中判断响应质量。