寻租语言模型：奖励模型定价，频繁审计抑制租金

arXiv:2610.19832v1 公告类型：新论文 摘要：RLHF 中的奖励模型过度优化通常被描述为奖励黑客行为。我们将其重新解释为寻租：作为企业的策略，从作为监管者的代理奖励模型那里获取缺乏真实质量支撑的奖励。这一视角将过度优化转化为可度量的量，即租金、俘获指数和无谓损失，并导出监管经济学中可检验的预测。在一个固定且受版本控制的测试平台中，我们使用三个模型家族、准确率相匹配的代理奖励模型以及两个金标准奖励模型，发现当金标准奖励趋于平稳时，RL 将其代理奖励增益的 41% 至 66% 转化为租金。租金随各监管者的定价而变化。两个代理模型都不核验事实，但其中一个奖励自信而具体的表述，另一个奖励表现出的勤勉，因此 RL 策略学会了编造不存在的实体的细节（占探测测试的 97% 至 100%），或回避事实性问题（占 67% 至 98%）。策略与监管者之间的同源关系带来了约 0.1 个标准差的固定溢价，但并未赋予策略在优化过程中额外的获利空间。在预期罚款固定的情况下，频繁而轻度的审计优于罕见而严厉的审计，且随机审计与定向审计的单次审计效率相当。通过将税收经济学中的聚束估计量引入 RL 训练，我们还发现了初步迹象，表明策略会学着将自身保持在略低于定向审计触发阈值的水平。