语言模型的微创引导

Logit 前引导通过向最终隐藏状态中添加向量，使冻结的语言模型适应测试时奖励。未经正则化的奖励优化可能大幅改变输出分布，并降低生成质量。我们提出最小侵入式引导向量优化（MISVO），利用诱导词元分布的局部 KL 几何对干预进行惩罚。由此得到的 Fisher 二次型能够衡量分布敏感性，并可通过与冻结语言模型输出头进行矩阵—向量乘法，解析地计算其梯度。我们推导出了序列级 KL 梯度的精确分解，将其分为解析 Fisher 项和后缀得分函数项。对于固定的生成长度，我们证明后缀项关于引导幅度是二阶项，并且三种 Fisher 近似在一阶上都与完整 KL 梯度一致。MISVO 使用冻结参考模型的近似项，在不更新模型参数的情况下优化位置特定的干预。在参数规模约为 1B--14B 的模型上进行的偏好和代码生成任务中，MISVO 在七个模型—任务设置中的六个设置里取得了最高平均奖励，其多样性和连贯性得分接近 Best-of-N。