Octopus：面向潜在 KV 多智能体强化学习的单一大脑、多分支架构

arXiv:2611.06956v1 公告类型：新论文 摘要：多智能体 LLM 系统通过生成具有独立上下文窗口的子智能体来并行探索，而单智能体系统则将每一步搜索和验证追加到一条不断增长的轨迹中。然而，现有多智能体框架会在各分支间重复存储前缀 KV 缓存，通过重新预填充文本摘要来交换发现，并在强化学习（RL）过程中将跨分支依赖关系扁平化或丢弃。我们提出 Octopus，这是一种单模型多智能体 RL 框架，其中所有线程共享同一个骨干网络，并通过五种原语（fork、read_thread、wait_threads、rewind、commit），在驻留于 GPU 的 KV 状态有向无环图（DAG）上进行协调。Octopus 结合了三种协同设计的机制：（1）零拷贝基数树分叉，将分支生成为共享物理 KV 页上的游标视图，复杂度为 $\mathcal{O}(1)$；（2）仅注意力 KV 挂载，将同级线程的末端 KV 块直接挂载到全注意力层，同时绕过线性循环状态（Gated DeltaNet / Mamba-2），使偏离任务的劫持发生率降低至原来的 $1/21$（$57.9\% \to 2.7\%$），并在不额外分配 KV 的情况下保留全文互信息的 $92.2\%$；（3）打包式 DAG-GRPO 训练器，将一个回合的所有分支打包到一次块稀疏注意力计算中，并通过逐一留出分支的边际奖励来分配反事实分支贡献。Octopus 在稀疏 BM25 语料库上基于 Qwen3.5-4B 使用 GRPO 进行端到端训练，在 BrowseComp-Plus 上达到 $49.6\%$ 的准确率（比使用 143K 上下文的单智能体 GRPO 高 $17.5$ 个百分点，比基于文本摘要的多智能体 RL 高 $12.5$ 个百分点），在 OpenResearcher 上达到 $51.2\%$ 的准确率，优于规模最高为其 $250$ 倍的稠密检索智能体，同时将训练吞吐量提升至 $3.3$ 倍，并将 KV 峰值内存占用降至原来的 $1/2.8$。