从困惑到清晰:面向文本分类的困惑感知检索与知识注入
From Confusion to Clarity: Confusion-Aware Retrieval and Knowledge Injection for Text Classification
精选理由
提供免微调方案,提升相似标签分类准确率
AI 摘要
大型语言模型(LLMs)难以将文本分类到包含大量语义相近标签的分类体系中,因为这些区分通常具有领域特定性,且未被预训练所覆盖。为处理大规模标签空间,一种常见方法是通过嵌入相似度检索出 top-$K$ 个候选标签,并提示 LLM 在其中进行选择。然而,top-$K$ 检索虽然减少了候选数量,却并不能帮助模型区分彼此相似的标签。当两个相似标签同时作为候选出现时,模型缺乏在它们之间做出正确选择的信号。我们提出一个框架,它能够:(1) 识别模型难以区分的标签对,(2) 扩展候选集以包含易混淆标签,(3) 生成有针对性的规则来区分相似候选。该框架无需微调,且生成的规则可迁移到更小、更便宜的模型上。在三个基准数据集(WOS、Flipkart、LEDGAR)上,我们的方法相较于检索基线将 Macro F1 最高提升 10.0 个百分点,而较小模型(2B--20B)通过跨模型迁移最高提升 11.5 个百分点。