LEAF：面向LUT的FPGA高效注意力机制

arXiv:2610.27078v1 公告类型：新 摘要：我们提出了面向查找表（LUT）的FPGA高效注意力机制（LEAF）。LEAF是首个纳秒级面向LUT的FPGA Transformer。要部署足够大以实现良好性能、足够小以适配FPGA、同时又足够快以满足CERN等实时系统所需亚微秒级时限的Transformer，仍然十分困难，因为赋予这些模型高表达能力的同一注意力机制，也使其在硬件中的实现成本高昂。LEAF通过采用面向LUT的训练，将查询、键和值投影以及最终的输出前馈层转换为原生FPGA层，从而构建出首个面向LUT、专为超低延迟推理设计的Transformer和linformer层。由于注意力机制会对两个激活值进行乘法，而该方法需要一个可制表的常量权重，因此注意力机制难以进行面向LUT的训练；LEAF对注意力模块中的常量矩阵-向量乘法进行制表，并将其余部分保留为算术形式。在标准喷气粒子分类基准上，在输入规模相同的情况下，与此前最先进的亚微秒级Transformer相比，该方法的准确率提高了1.8个百分点，同时使用的LUT数量减少至其1/2.9。我们最高效的基于LEAF的linformer使用64个输入粒子，在占用28k个LUT、延迟35ns的情况下，分类准确率达到80.4%。