SPECTRA：在可运行时重构的分块架构上自适应执行推测解码

边缘设备上的 LLM 推理受到计算和内存资源的限制，使高效的自回归解码颇具挑战。推测解码通过使用更小的草稿模型生成令牌，并通过批量目标模型执行并行验证多个令牌，从而缓解了这一瓶颈。然而，由于其算术强度会随推测长度和接受率变化，验证过程在解码阶段受内存带宽限制的通用矩阵-向量（GEMV）操作与预填充阶段受计算能力限制的通用矩阵-矩阵（GEMM）操作之间引入了一个依赖运行时的中间状态。我们提出了 SPECTRA，这是一种可运行时重构的分块架构，能够在完整的推测解码流水线中保持较高利用率。在每个分块内部，计算引擎可在用于 GEMM 的脉动执行和用于 GEMV 的向量通道执行之间切换。在分块之间，SPECTRA 通过选择分块数量、内核划分方式和通信模式，动态调整计算并行度。分块级和系统级重构均以每个内核为粒度进行，从而能够在这些不同状态下实现高效执行。在涵盖 Pythia、SmolLM2 和 GPT-2 系列的 20 分块 FPGA 原型上进行评估时，与固定设计相比，SPECTRA 通过分块级重构最高实现了 2.09 倍加速，并通过系统级自适应性进一步获得了 1.25 倍的性能提升。