面向机器学习应用的代数整数量化

arXiv:2610.12494v1 公告类型：新论文 摘要：本文提出代数整数数值格式（AINF），作为一种支持高度可配置、高精度压缩计算的框架。AINF 的一个关键特性是能够直接归约为纯整数算术，从而实现无误差的乘加运算。我们开发了一种利用该特性的矩阵乘法引擎，其性能与现代硬件加速器上最高效的同类数值计算实现相比，差距处于可预测的倍数范围内。AIQ 的另一个关键优势是可以根据给定用例的数值特征，自由选择适合的代数整数，从而提供浮点或定点格式从根本上无法实现的优化机会。基于这些特性，我们引入了代数整数量化（AIQ），这是一种用于大语言模型（LLM）推理的有损压缩格式，并通过结果表明，在每个参数的比特数预算相同的情况下，AIQ 在多种模型和基准测试中均能达到与行业标准 MX 格式相媲美的准确率。本文所述实验采用二次代数整数；推广到更高次、尤其是多维代数整数，有望带来更大的计算优势，仍是未来研究中一个前景广阔的方向。