使语言模型趋向反事实不变性

arXiv:2610.22942v1 公告类型：cross 摘要：提示特征的细微变化可能会显著改变大型语言模型输出的语义、语气和上下文假设。这些特征可能涉及人口统计变量等群体变量，或其他敏感的潜在属性。当人口统计信息在因果上与任务无关时，对这类输入变量的敏感性是不理想的，但它仍可能与生成语义连贯的回答相关。因此，在保留模型效用的同时强制实现反事实不变性是一项艰巨的任务。为研究这一问题，我们首先表明，标准的模型对齐方法（如强化学习）虽然能够提升整体回答质量，却会扩大不同人口群体之间的回答质量差异，最终加剧通常所称的反事实偏差。为解决这一问题，我们开发了一种策略梯度技术，其中引入了作用于匹配的反事实提示对的群体级奖励函数。作为完整研究的一部分，我们构建了一个受控反事实提示对数据集，并设计了一种评估方法，用于单独衡量人口统计信息在因果上与答案相关的情况。最后，我们在多个公平性基准上验证了研究结果。我们证明，我们的方法能够在保持整体回答质量的同时减少反事实差异，并且当这类敏感信息确实相关时，模型仍能进行适当调整。