简化矩阵乘法：用于 LLM 推理的输入自适应矩阵乘积简化

基于 Transformer 的语言模型性能强大，但由于反复进行高维矩阵乘法，推理成本很高。我们提出 Reduced Matrix Multiplication (RMM)，这是一种无需训练、输入自适应的推理方法，通过沿收缩维度选择信息量较高的切片来减少 Transformer 矩阵乘积，而不修改模型权重。在简单的保留比例控制下，RMM 提供了平滑且可预测的准确率—效率权衡。针对参数规模从 1B 到 70B 的语言模型，我们发现简化容忍度取决于模型家族、任务、组件和保留比例，尽管它通常会随模型规模增大而提高。在中等程度的简化下，RMM 在所评估的判别式、自回归生成和长上下文设置中保持稳健。我们进一步表明，同一原则可扩展到多模态视觉—语言推理。机制性消融揭示了 Transformer 内部的一种结构性不对称：attention 侧计算比 MLP 组件更容易被简化。最后，在 NVIDIA A100 上使用自定义 kernel 的实际耗时基准测试表明，这些计算节省可以转化为实际运行时间收益，尤其是在更长序列长度下。综上，这些结果将 RMM 定位为输入自适应推理时优化的一个可扩展方向。