PEARL：用于部分偏好漂移下选择性遗忘的预测误差自适应正则化学习
PEARL: Prediction Error-Adaptive Regularized Learning for Selective Forgetting under Partial Preference Drift
精选理由
提出按预测误差定向遗忘偏好变化的维度，在个性化推荐与 LLM 响应选择中提升适应性且保留稳定偏好。
AI 摘要
arXiv:2611.05842v1 公告类型：新稿 摘要：用户偏好会随着需求、情境和品味的变化而转移。这对个性化推荐、LLM 回答生成以及经 RLHF 训练的奖励模型至关重要，因为偏好漂移可能导致这些模型失准。现有的非平稳多臂老虎机方法对所有维度进行均匀遗忘，但现实中的偏好变化通常是局部的：某些维度已经过时，其他维度却仍然有效。神经上下文多臂老虎机通过 Gram 矩阵单调累积置信度，却没有机制将不确定性定向分配到预测出错的方向。我们提出 PEARL（预测误差自适应正则化学习），沿预测误差超出预期的特征方向逆转 Gram 矩阵更新，同时保持其他方向的置信度不变。我们证明：（i）任何非自适应策略在偏好变化后都会遭受线性遗憾；（ii）不存在能够在平稳和非平稳环境中均实现低遗憾的固定探索率；（iii）PEARL 的累积遗憾随偏好发生变化的用户数 N_s 而非总用户数 N 缩放。在个性化 LLM 回答选择基准 PRISM（1,500 名用户、21 个 LLM）上，PEARL 比贪心策略高出 4.0 分，比最佳神经多臂老虎机基线高出 2.5 分（p<0.001），同时在偏好稳定时与贪心策略表现相当。它比滑动窗口和折扣方法高出 3 至 10 分，表明选择性遗忘优于均匀遗忘。该选择策略是一个约含 10 万个参数的 MLP，在 CPU 上可于毫秒级时间内运行，保持 LLM 权重冻结，并适用于任何基于 API 的模型。