arXiv cs.LG精选76

生成式推荐中针对遗漏目标的训练:将监督与概率竞争分离

Training with Missed Targets in Generative Recommendation: Separating Supervision from Probability Competition

· 6天前

精选理由

揭示补充遗漏目标的概率竞争可能损害排序,并提出更可靠的训练评估方法。

AI 摘要

arXiv:2610.10124v1 公告类型:交叉 摘要:生成式推荐器返回有限的候选集,并可能在重排序之前遗漏已观测到的目标。尽管推理时仍只对原始候选进行排序,一种训练策略会将这些遗漏目标追加到重排序器的训练列表中。这一操作同时改变了检索目标的权重、增加了对追加目标的监督,并使两组目标在概率上相互竞争。因此,仅比较追加与不追加,无法解释返回项目排序的变化。我们构造了三个匹配的损失函数,在固定检索目标权重的同时,分别引入追加目标监督和组间竞争。中间损失在两组内部进行训练,但分别对两组进行归一化,从而避免仅在训练阶段出现的目标与推理候选竞争。使用已发布的 OneRec 模型以及本地训练的 Amazon 生成器进行的实验表明,这种竞争可能损害返回项目的排序。在预先设定的四组 Amazon Video Games 对比中,移除这种竞争使全目标归一化折损累积增益(FT-NDCG)提升了 7.8--22.2%;以用户为对象的 95% 区间,以及四个训练运行区间中的三个,均不包含零。在一个留出类别中,保守的开发集规则在三个生成器中为两个选择了追加目标训练,而在另一个类别中拒绝了三个生成器的追加目标训练,从而避免了 1.7% 的损失。因此,应针对每个生成器评估候选补全,而不应自动采用。

查看原文(arXiv cs.LG)