Double-Take：提升双向记忆在长上下文中的容量、绑定能力与选择性

arXiv:2610.13073v1 公告类型：新论文 摘要：能够处理长序列，并不意味着远距离信息仍然可用。随着上下文增长，固定大小的记忆必须保留大量关联、连接不同位置的信息，并保留相关结构，同时避免被所观察到的全部信息淹没。这些是彼此不同的要求：记忆可能存储了更多信息，却没有表征检索所需的关系；也可能传递了这些关系，却未能保留其中重要的关系。因此，挑战不仅在于扩展上下文长度，更在于构建一种在上下文增长时仍然可用的记忆。我们在大分块测试时训练（TTT）中研究这一问题，并发现了两种基本失效模式：单步写入会累积干扰，从而限制容量；自关联写入则无法形成跨位置绑定。我们提出 Double-Take（DT），通过多步非锚定更新和跨位置混合修复这些问题，并引入对变化敏感的双向写入机制，以实现选择性保留。仅提升容量时，端到端召回率仍停留在 $0.10$ 的随机猜测基线；加入绑定机制后，召回率提升至 $0.92$。DT 仅在 $32\,\mathrm{kb}$ 的基因组上下文上训练，便在 $131\,\mathrm{kb}$ 的上下文上达到 $0.927$ 的 AUROC，在接近 $1\,\mathrm{Mb}$ 的上下文上达到 $0.856$，同时实现了从人类到小鼠的零样本迁移。这些结果共同表明，容量、绑定能力和选择性是构建可用长程记忆的三项必要条件。