AsymSpec：面向 Agentic LLMs 的上下文非对称 Speculative Decoding

随着检索、工具使用和多轮交互过程中上下文不断累积，Agentic LLM 流水线面临日益攀升的推理成本。为控制延迟，部署系统通常会压缩输入，但这会降低任务准确率。Speculative Decoding (SD) 能够无损加速生成，但它假设 drafter 和 verifier 共享完全相同的上下文，因此无法解决准确率与开销之间的权衡问题。我们提出 AsymSpec，一种打破这种对称性的非对称 speculative decoding 框架：一个轻量级 drafter 读取完整输入，而大型 verifier 在压缩后的视图上运行。drafter 通过对 logits 进行对比式 $δ$-fusion 来引导 verifier，并由一个感知分歧的接受门控进行调节，以保持验证稳定性和较高的草稿接受率。在四种 agentic 能力和两个端到端 agent 基准上进行评估时，AsymSpec 平均可达到完整上下文准确率的约 $\approx 90\%$，并在独立文本能力上以 $0.2$--$0.3\times$ 的计算成本带来 $1.3$--$1.7\times$ 的吞吐加速。这些结果表明，当压缩丢失关键推理信号时，非对称上下文访问能够带来显著收益。