ToPA：用于高表现力和高效微调的分块托普利兹适配

arXiv:2610.22883v1 公告类型：cross 摘要：参数高效微调（PEFT）已成为适配大型预训练模型的主流策略。在各种 PEFT 技术中，基于重参数化的方法，尤其是采用低秩或稀疏结构的方法，受到了广泛关注。然而，这些方法的表现通常不如全量微调。具体而言，低秩方法限制了更新矩阵的秩，这与全量微调固有的高秩特性并不匹配。相比之下，基于稀疏性的方法限制了参数空间的灵活性，并削弱了权重之间的连通性。为克服这些局限性，我们探索了托普利兹矩阵的应用。托普利兹矩阵的元素沿每条对角线保持不变，因此能够在不施加显式秩约束或稀疏性约束的情况下提供紧凑的参数化。一种直接的方法是通过托普利兹矩阵的乘积来更新权重。然而，与 RNNs 类似，过长的乘法链通常会导致梯度不稳定。为解决这一问题，我们提出了 \textbf{ToPA}，这是对该思路更为精细的改进版本：它用分块托普利兹矩阵替代标准托普利兹矩阵，大幅提升每个因子的容量并缩短乘法链，从而稳定训练过程并增强表达能力。我们从理论上证明，在更短的链长度下，分块托普利兹矩阵的乘积能够近似任意矩阵，从而为 ToPA 的结构设计提供依据。此外，我们证明了 ToPA 的表达能力优于现有的低秩和稀疏参数化方法。在涵盖 5 种模型架构的 21 个 NLP 和 CV 数据集上的实证评估，一致验证了 ToPA 的有效性。