DyRA：面向 DNNs 高效矩阵乘法的动态残差近似

arXiv:2610.02882v1 发布类型：new 摘要：大规模基础模型在各种任务上都取得了出色的性能，但其规模使推理成本高昂，主要原因在于密集矩阵乘法。以往工作通过将密集权重矩阵替换为低秩分解等高效结构形式来降低这一成本。然而，这些方法近似的是权重，而不是决定推理精度的输出激活。因此，输入激活可能放大权重空间中的微小误差，从而产生较大的输出误差。在本文中，我们提出 DyRA，这是一种输入自适应方法，通过在推理过程中校正输出残差误差，改进结构化矩阵乘法近似。我们表明，直接优化输出的低秩因子，可以更有效地近似矩阵乘法。基于这一认识，DyRA 动态近似并校正结构化权重近似所引入的输出误差。该方法将高效的结构化计算与依赖输入的校正相结合，在相同计算预算下，实现了对完整矩阵乘法更忠实的近似。在视觉、语音和语言模型上，DyRA 始终能够在仅采用结构化权重近似的基础上，进一步改善精度与效率之间的权衡。值得注意的是，DyRA 为 DINOv3 实现了端到端 GPU 加速 1.5 倍，同时与仅使用权重近似的基线方法相比，将精度下降幅度降低了 3 倍以上。