面向任务的关键层 KV 通信，实现高效的潜在多智能体协作

arXiv:2610.08820v1 公告类型：新 摘要：基于大语言模型的多智能体系统通过协作提升复杂问题的解决能力，而潜在通信则直接传输模型内部状态，从而避免自然语言带来的高昂推理成本。然而，现有基于 KV 的潜在通信方法优先保证发送端状态的保真度，导致大量通信与计算开销，并可能引入冗余信息。为解决这些局限性，我们从面向任务的角度重新审视潜在通信，将其目标从发送端状态保真度转向接收端任务充分性。在此基础上，我们提出 KITE，一种无需训练的面向任务的关键层 KV 通信框架。KITE 使用接收端轨迹失真标准识别对任务有效的关键层，仅传输与该关键层关联的潜在工作记忆，并进一步将同一层作为自回归潜在推理的入口。在涵盖两个模型系列和三种模型规模的七个基准测试中，实验结果表明，与全层 KV 通信相比，KITE 将通信量减少了 28-36$\times$，端到端推理速度最高提升 3 倍，并将准确率最高提高 23.3 个百分点。