PEARL：用于偏好部分漂移下选择性遗忘的预测误差自适应正则化学习

用户偏好会随着需求、情境和喜好的变化而改变。这对个性化推荐、LLM 响应生成以及通过 RLHF 训练的奖励模型至关重要，因为偏好漂移可能导致这些模型的校准失准。现有的非平稳老虎机方法对所有维度进行统一遗忘，但实际的偏好变化通常是局部的：某些维度的信息已过时，而其他维度仍然有效。神经上下文老虎机通过 Gram 矩阵单调累积置信度，却没有机制将不确定性定向分配到预测出错的方向。我们提出 PEARL（预测误差自适应正则化学习），沿预测出现意外错误的特征方向逆转 Gram 矩阵更新，同时保持其他方向的置信度不变。我们证明：（i）任何非自适应策略在偏好变化后都会遭受线性遗憾；（ii）不存在能在平稳和非平稳环境下均实现低遗憾的固定探索率；（iii）PEARL 的累积遗憾随偏好发生变化的用户数 N_s 而非总用户数 N 缩放。在个性化 LLM 响应选择基准 PRISM（1,500 名用户、21 个 LLM）上，PEARL 比贪心策略高出 4.0 分，比最优神经老虎机基线高出 2.5 分（p<0.001），同时在偏好稳定时表现与贪心策略相当。它比滑动窗口方法和折扣方法高出 3 至 10 分，表明选择性遗忘优于统一遗忘。选择策略是一个约含 10 万参数的 MLP，可在 CPU 上以毫秒级速度运行，保持 LLM 权重冻结，并适用于任何通过 API 调用的模型。