时间分辨的词元归因揭示扩散语言模型的生成动态
Temporally-Resolved Token Attribution Reveals the Generation Dynamics of Diffusion Language Models
精选理由
提出可追踪扩散语言模型逐步生成过程的归因方法，帮助研究者分析模型在不同层与去噪步骤中如何利用输入。
AI 摘要
arXiv:2610.01177v1 公告类型：交叉收录 摘要：本研究提出 Diffusion Layer Integrated Gradients（DLIG），这是一种用于扩散语言模型（DLMs）的词元归因方法，将 Integrated Gradients（IG~\cite{sundararajan2017axiomatic}）扩展到任意层和去噪步骤。DLIG 对 DLM 在给定输入提示后逐步确定自行生成或预先固定的补全文本这一过程进行归因。我们建立了 DLIG 与 IG 的完备性、实现不变性、线性和对称性保持公理之间的直接对应关系。作为干预分析的轻量级补充，DLIG 能够以较低成本，对整个去噪轨迹上的机制假设进行初步检验。我们在词义消歧、多跳图推理和句子填空任务上展示了这一点，揭示 DLMs 如何跨位置、层和去噪步骤利用输入。