用户嵌入是可解释行为模式的叠加

arXiv:2611.08487v1 公告类型：新论文 摘要：用户嵌入是现代推荐、个性化和行为建模系统的核心组成部分。尽管这些嵌入能够紧凑地编码丰富的行为信息，但其本质上是稠密且不透明的，这限制了其可解释性。为弥补这一不足，我们提出，用户嵌入可以理解为可解释行为模式的稀疏叠加。对于线性嵌入，用户行为生成模型可直接预测这种结构；根据叠加假说，这种结构也近似适用于深度学习表示。叠加的模式可以自然地通过稀疏字典学习方法（如稀疏自编码器（SAEs））恢复，而恢复出的模式可以自动命名，并使用自然语言进行查询。我们在具有已知真实模式的合成数据上验证了模式恢复效果，结果表明，SAEs 的模式恢复能力优于经典稀疏基线方法，在经 Transformer 编码的嵌入上也是如此。随后，我们将该方法应用于两个真实世界数据集中的经典用户嵌入和基于 Transformer 的用户嵌入。我们还展示了相应的自然语言标签如何支持对从未使用文本训练过的嵌入进行零样本受众检索和特征描述。该框架采用事后分析方式，且与模型无关，无须修改上游嵌入系统。