喜剧中的愚人金：对话幽默中的奖励漏洞与应对措施

arXiv:2610.00197v1 公告类型：cross 摘要：我们研究用于训练语言模型进行对话幽默生成的自动化奖励，重点关注奖励漏洞及其应对措施。其中两种方法旨在捕捉可理解的意外性和预测的观众趣味性。受控测试表明，基于嵌入的意外性奖励会同样接受打乱词序的回复和机智的回复。流畅度过滤器能够检测出词序打乱的回复，但组合奖励也会拒绝一些机智的回复，并且未能通过进一步验证。相比之下，观众模型预测的笑声容易受到任一说话者消息中笑声线索的影响。在说话者之间对这些线索进行归一化可以阻断所涵盖的攻击，但未匹配的表达仍然可能被利用。三次强化学习实验评估了采用连续修订奖励进行训练的效果。最后一次实验使组合评估得分提高了0.0903，并将零分会话减少了40%，但其针对幽默的改进仍低于我们预注册的目标。这些发现揭示了自动化奖励设计面临的一项更广泛的挑战：应对措施必须阻断可被利用的捷径，同时保留奖励原本旨在鼓励的行为。