LumoTree：面向混合语言模型的路径并行推测验证

arXiv:2609.23900v2 公告类型：替换 摘要：混合语言模型的树式推测解码必须在循环、卷积和注意力状态之间保持一个连贯的延续。我们提出了 LumoTree，这是一种验证器，能够并行执行循环路径，复用每条路径内的状态分块，并通过共享的逻辑树协调原生循环重放、卷积历史收集和注意力缓存重映射。融合式候选选择、驻留 GPU 的接受判定以及分组 split-K 注意力共同支持验证流程。组件实验显示，候选选择结果完全一致，循环计算结果也在成对误差界内保持一致。在单台 NVIDIA DGX Spark（GB10）上进行的探索性 Qwen3.8-27B NVFP4 部署中，针对十个 SWE-bench Verified Astropy 任务，记录到 25.63 pooled tokens/s 的吞吐量。结果刻画了组件级数值一致性和编码代理部署情况；完整模型延续能力和受控的应用级加速效果仍有待研究。