arXiv cs.AI精选76

词汇已经存在:为生成式推荐适配预训练的可解释特征

The Vocabulary Is Already Here: Adapting Pretrained Interpretable Features for Generative Recommendation

· 20小时前

精选理由

深度 92 / 新颖度 85,来自 arXiv cs.AI。

AI 摘要

生成式推荐(GR)通过语义 ID(SID)预测下一个物品。现有方法通常将 SID 词汇表拟合到物品描述的预训练语言模型(PLM)表征上,这会带来额外的训练成本,并使词汇覆盖范围依赖于拟合领域。我们观察到,预训练稀疏自编码器能够揭示带有人类可解释语义标注的 PLM 特征,从而使特征索引可以充当可复用的 SID 词汇表。然而,复用这一词汇表需要在紧凑的 token 预算下保留物品差异,并学习使目标物品优于具有相同主导特征的候选物品。此外,还需要将特征的可解释性从物品内容扩展到检索决策。为应对这些挑战,我们提出 API,这是一种无需额外学习词汇表、能够适配预训练可解释词汇表以实现高效且可解释 GR 的框架。在 API 中,预训练可解释 ID(PIDs)保留所选特征索引及其相对激活强度,以区分物品。以 PIDs 作为监督信号,语义预测适配器(SPA)通过联合预测特征索引和强度,从交互历史中学习用户偏好。SPA 结合这两种预测为候选物品评分,并通过物品级监督促使观测到的下一个物品的排名高于其他候选物品。API 进一步通过将特征贡献与其预训练语义标注配对,解释候选物品之间的得分差异。大量实验表明,API 在不同骨干网络和解码方案下均取得了具有竞争力的性能,同时能够在紧凑的 token 预算下保留物品差异,并实现可解释的检索。

查看原文(arXiv cs.AI)