增强缓存，替换激活：内部状态共享的 2×2 研究

arXiv:2610.22026v1 公告类型：新 摘要：由冻结语言模型构建的多智能体系统通过文本进行通信，这会丢弃发送方已经计算出的内部状态，并让接收方付出代价重新构建该状态。关于内部通道的研究避免了这一成本，并将问题表述为传输：智能体 A 向智能体 B 发送信息。每一对需要通信的智能体都需要一个专用的传输桥接器，而系统每增加一个智能体，就需要针对每个已有智能体拟合一个新的桥接器。我们将这一问题重新表述为共享：一个智能体只需将其内部状态发布到一个池中一次，所有其他智能体都通过一个不针对任何特定发送方拟合的统一机制读取该池，因此增加一个智能体只需增加一个发布者，而不需要新的桥接器。以往研究通常独立选择内部状态的载体和融合机制，而我们的主要发现是，这两种选择是耦合的；决定因素在于载体进入接收方计算过程的位置。可消费性是接收计算的属性，而不是表示形式的属性。我们发现，键值（KV）缓存必须增强而不能替换：接收方在保留自身缓存的同时，对另一智能体的缓存执行交叉注意力；只需训练一个小型查询侧适配器，就能达到读取源文档时的准确率。激活则恰恰相反。最好的做法是将激活直接写入接收方，无需桥接器、适配器或训练；这优于将其与接收方自身的激活并列暴露出来，不过这一优势依赖于已知该状态在接收方中应处的位置。在一个共享控制阶梯协议下，我们确立了这一规则：增强 KV 缓存，替换激活。一个适配器只需训练一次，便能服务于从未参与训练的发布者，也能同时服务于包含多个发布者的池，但前提是这些发布者的内部状态接近接收方自身的内部状态。