并非一切都已失去:修复个性化编码器中有损的用户偏好状态
Not All Is Lost: Repairing Lossy User Preference States of Personalization Encoders
精选理由
提出无需重编码的偏好状态修复方法,显著提升推荐排序与个性化生成效果。
AI 摘要
arXiv:2610.01270v1 公告类型:新增 摘要:个性化编码器将不断演化的交互历史压缩为偏好状态,用于对项目进行排序或作为文本生成的条件。仅基于该状态运行的任务头可能会遗漏有用证据,而这些证据仍保留在冻结编码器针对各个时间步缓存的表示中。我们研究了这种可恢复性差距,并提出 REPAIR:在紧凑的学习坐标空间中,将缓存表示与当前偏好状态进行比较。它能够从较长历史、近期交互和局部突发行为中解析出修正性证据。随后,它选择在各个时间步对状态产生贡献的模式,并在任务头之前,将这些模式的聚合修正添加到状态中。编码器端修复会复用现有前向计算中的表示,无需重新编码历史。在 MovieLens、PENS、MIND 和 Amazon Reviews 2023 上,仅训练 REPAIR 就能提升全部十二个代表性推荐宿主的 MRR 和 nDCG@10,同时保持编码器和任务头冻结不变。对相同宿主仅微调任务头所获得的增益更小。例如,在 MovieLens 上,Mamba4Rec 的 MRR 提升了 3.96 个百分点,而仅微调任务头的提升为 0.19 个百分点。排序和时间诊断结果支持存在一种紧凑且依赖宿主的修正结构。在个性化生成任务中,IMPerSumm 将所报告的两个加权 PerSEval 变体提升了最高 25.23%;这两个变体用于评估对用户偏好的响应能力。这些结果支持对压缩后的状态进行后置修正,并区分了偏好证据的可获得性与其下游使用情况。