分布偏移下用于忠实生成的词元级离策略学习

arXiv:2607.17524v2 公告类型：replace-cross 摘要：我们提出 Token-Level Off-Policy Labeling（TOPL），这是一种离策略训练范式，将后训练重新定义为词元级正确性预测任务。我们的核心直觉是，通过训练模型区分回答中的好词元和坏词元，可以自然地引导模型生成好词元，同时避免直接训练模型生成离策略词元所带来的问题。在文档摘要任务上的实验表明，与多种序列级和词元级基线相比，TOPL 在 11 个数据集上展现出强大的分布外泛化能力。我们进一步证明，TOPL 能够有效迁移到机器翻译任务，说明其优势可以推广到不同的忠实生成任务。通过消融研究，我们确认词元级学习信号对于良好性能至关重要；序列级的类似方法并不能带来同样的收益。最后，我们表明 TOPL 能够带来可解释的模型更新：通过 TOPL 学得的 LoRA 适配器可充当线性分类头和引导向量。