CoTA++：从信息流视角理解 dMLLMs 中的重复诅咒

基于扩散的多模态大语言模型（dMLLMs）通过双向注意力进行迭代去噪解码，因此无法使用标准的自回归键值缓存。实际部署因而依赖近似缓存，在不同去噪步骤之间复用中间状态。然而，这类缓存常常会使响应在相邻位置重复同一个 token，形成打断句子的连续重复现象；我们将这一失效称为重复诅咒。对上下文—token 信息流进行追踪后，我们发现了三种扰动。首先，在单个步骤内，缓存分散了将某个位置锚定到邻近上下文 token 上的注意力。其次，在不同步骤之间，基于相似度的更新机制没有考虑状态陈旧性，导致部分位置基于过时的键值状态进行解码。最后，在不同层之间，重复现象出现的位置所对应上下文的深层熵未能收敛。为此，我们提出无需训练、即插即用的框架 CoTA++，在扰动源头分别加以抑制：Context-Token Attention Re-anchoring 针对当前上下文重新形成注意力路由；Decode-Aware Refresh 将部分缓存更新预算保留给即将确定的位置；Context-Token Entropy-Guided Voting 则根据其上下文的深层熵降低某个位置的置信度，从而重新排列解掩码顺序。这三个组件分别作用于解码步骤中互不重叠的阶段，因此可以与现有 dMLLMs 及缓存机制自由组合。在三种 dMLLMs 和两种缓存后端上，CoTA++ 将长响应的样本重复率从最高 99.6% 降至不超过 17.0%，在九个基准测试中恢复了缓存导致的大部分准确率损失，同时将缓存带来的加速开销控制在 15% 以下，使近似缓存能够可靠地应用于 dMLLMs。