S4oP：面向资源受限设备的结构化状态空间模型算子级剪枝

arXiv:2606.18096v2 公告类型：替换 摘要：结构化状态空间模型（SSM），包括 S4 和 S4D 架构，近年来已成为基于注意力的模型的有力替代方案，能够捕捉序列数据中的长程依赖关系。尽管这些模型在经验性能方面表现出色，但由于计算和内存开销较大，在时间和资源受限的环境中部署仍然面临挑战。本文提出了一种针对基于 S4 和 S4D 的模型的新型增量式算子级剪枝方法，在保持预测性能的同时显著降低推理成本。据我们所知，这是首项系统研究针对 SSM 的结构化算子剪枝工作的研究。我们的方法通过交替执行结构化掩码和微调，逐步剪除模型算子，同时联合监测准确率和推理延迟。我们在统一的训练与评估框架中实现了该方法，从而能够系统地探索效率与准确率之间的权衡。在多个基准数据集上的实验表明，在大多数情况下，剪除多达 70% 的模型算子仍能保持原始模型的性能，同时显著降低推理延迟。这些结果表明，结构化算子剪枝是提升 SSM 效率的一种有效且此前尚未被探索的策略，有助于推动其在实际资源受限场景中的部署。