一类低参数正交矩阵的黎曼结构与优化

本文研究由块对角因子与固定置换交错构成的矩阵，这是一类灵活的结构化矩阵。近年来，该类矩阵因在表达能力与效率之间实现了良好平衡而受到深度学习架构的关注，但针对其进行处理的高效计算策略仍有待探索。我们通过黎曼几何研究这一问题，并考察该类矩阵在何种条件下具有光滑流形结构。针对具有实际重要性的正交双因子矩阵情形，我们推导了其基本的黎曼工具，并提出了高效的实现算法。这些算法利用自动微分，支持在每个因子内部共享参数，并避免显式构造稠密矩阵。我们在黎曼优化框架中，将这些算法应用于最佳矩阵逼近问题以及大语言模型的参数高效微调。除双因子情形外，我们还研究了具有更多块对角因子的分解的几何性质和矩阵理论性质。