LLM-增强的用于大规模多标签文本分类的双分支学习

大规模多标签文本分类需要从包含数千或数万个候选标签的词表中，为每篇文档分配一小部分相关标签。尽管预训练语言模型提升了文本的语义表示能力，但大多数基于表示的方法都将其预测流程集中于一个主编码器，或在单个排序器中融合辅助特征。因此，异构语言模型之间的互补性仍未得到充分探索。我们提出了 DualMLC，这是一种双分支框架，通过自回归的仅解码器语言模型和双向编码器分别处理同一篇文档。每个分支都保留独立的表示路径，并在共享标签空间上独立估计相关性分数。DualMLC 通过后期 logit 融合结合两个分支的分数向量，使共享证据能够强化相关标签，同时使分支特有的证据能够弥补另一分支表示的局限性。DualMLC 在三个广泛使用的大规模多标签文本分类基准数据集上取得了当前最优的结果。消融实验结果进一步证实，融合异构预测器所产生的排序优于任一单独分支。源代码已公开发布于 https://github.com/huiyegit/DualMLC。