表格基础模型的注意力量化

随着表格基础模型的兴起和应用日益广泛，优化其推理性能逐渐成为效率研究的新兴领域。尽管这些模型在架构上与基于 Transformer 的大型语言模型（LLM）相似，但二者的规模和服务模式存在显著差异。我们表明，应将重点放在注意力计算上，而不是权重量化或 KV 缓存量化，因为后两者在 LLM 中更为常见。我们针对查询、键和值设计了 FP8 量化策略，并使用显式的 FP8 矩阵乘法指令来加速注意力计算。我们发现，让测试行中的量化误差与训练行中的量化误差保持一致至关重要，否则准确率会大幅下降。我们的 Triton 内核相比常规的 16 位内核最高可实现 1.7 倍加速；同时我们表明，在 TabPFN-v3 和 TabICLv2 上，跨越 TabArena 和 BeyondArena 均不会出现明显的准确率损失。