通过 LLM 蒸馏进行多标签主题分配：生成式与判别式学生模型的比较分析

arXiv:2610.09063v1 公告类型：新 摘要：用户生成内容（UGC）的多标签主题分配——包括产品评论以及买卖双方对话——由于非正式语言、极端的标签稀疏性和快速演变的分类体系，在大规模电子商务场景中面临独特的扩展性挑战。尽管利用大型语言模型（LLM）作为标注预言机来蒸馏真实数据，已成为规避高昂人工标注成本的行业标准，但如何为由此产生的学生模型确定最优的低延迟架构，仍是一个尚未解决的挑战。为此，我们围绕小型语言模型（SLM）的参数规模（1B、4B 和 8B）及架构范式（因果生成式与双向判别式）开展了全面评估。通过将生成式文本到标签分类器与判别式基线模型（DeBERTa-V3 和 ModernBERT）进行比较，我们的分析揭示了一个关键的、依赖数据的权衡：在结构化产品评论上，判别式模型的表现优于超轻量级生成式模型；而在复杂的多轮对话数据上，即使是最小的 1B 生成式模型也超过了判别式基线模型。此外，在标签集大幅扩展（最多达到 112 个主题）以及严重的长尾分布下，生成式模型仍能保持稳健的性能，而判别式基线模型的 Macro-F1 在规模扩展后下降了 35%。最后，我们详细介绍了这些优化模型在产品评论和对话两大领域的成功生产部署，证明其满足严格的延迟要求，并能在全球市场规模下带来切实的业务影响。