CAST：跨分词器同策略蒸馏的信用对齐

arXiv:2610.13257v1 公告类型：新论文 摘要：跨分词器同策略蒸馏（OPD）需要先对齐教师与学生的序列，才能比较二者的评分。解码文本对齐在文本块层面建立了这种对应关系，但仍有一个独立问题尚未解决：信用对齐。块级信号指明一个文本片段应当改变多少，却未说明该信号应如何分配到学生的各个词元上，而没有教师对应项的词元则仍然不受约束。我们提出 CAST（Chunk-aware credit Assignment with Selective Token Anchoring），这是一种“改变或保持”框架，可同时解决上述两个问题。对于已对齐的文本块，CAST 利用预测不确定性和局部教师信号的平滑性，将每个块的优势值重新分配到学生词元上，在保持该块总优势值不变的同时，重点关注由局部一致的教师反馈所支持的学习机会。由此得到的权重恰好是一个 KL 正则化信用分配问题的精确解。对于未对齐的位置，CAST 通过 KL 惩罚项选择性地将学生锚定于其初始策略，从而在缺乏教师监督的位置限制策略漂移。由于信用分配与文本块构建相互分离，CAST 也适用于共享分词方式下按标点划分或固定长度的文本块。在六项数学、科学和代码基准测试中，对于从 Qwen3-8B 到 Mistral-7B 和 Llama-3.1-8B 的跨分词器迁移，CAST 的平均得分相较于所评估的最强基线分别提高了 $2.45$ 和 $1.32$ 分；对于到 Qwen3-1.7B 的共享分词器迁移，则提高了 $2.10$ 分。