arXiv cs.AI精选71

HiGenTrans:面向生成式推荐的分层 LLM 知识迁移

HiGenTrans: Hierarchical LLM Knowledge Transfer for Generative Recommendation

· 2天前

精选理由

分层迁移大语言模型知识,提升生成式推荐的排序准确性,并兼顾工业部署效率与防止目标泄漏。

AI 摘要

生成式推荐通过自回归生成物品的语义 ID(SID),有望简化传统的多阶段推荐系统。然而,两大障碍限制了其在工业场景中的有效性:仅依赖交互的监督未能充分利用预训练语言模型中编码的语义知识,而束搜索似然对词元序列进行排序,并非直接估计物品相关性。为解决这些局限,我们提出 HiGenTrans,这是一个在输入、表示和决策三个层面引入 LLM 知识的三层框架。首先,全局语义预引导(GSP)将源自 LLM 的用户表示添加到序列起始嵌入中,在生成 SID 之前提供语义先验。其次,分层表示迁移(HRT)通过均值中心化投影和门控残差连接,将 LLM 的中间表示与深度匹配的 GenRec 层对齐。最后,多信号决策校准(MDC)使用轻量级混合专家校准器,在对束搜索输出重新排序时融合语义相关性、生成置信度和候选集上下文。所有语义特征均仅根据可观测的交互前缀计算,以防止目标泄漏,并且可离线缓存。在三个公开基准上的实验表明,相较于最强基线,HiGenTrans 的 Recall@10 最高提升 12.9%,NDCG@10 最高提升 33.7%。这些结果表明,在生成式推荐流程中相互补充的不同阶段迁移 LLM 知识具有重要价值。

查看原文(arXiv cs.AI)