从 Eckart-Young-Schmidt 视角看深度对称自编码器

arXiv:2506.11641v2 公告类型：replace-cross 摘要：深度自编码器已成为众多机器学习应用中的基础工具，应用范围涵盖从降维、偏微分方程的降阶建模，到异常检测和神经机器翻译。尽管取得了实证上的成功，但关于其表达能力的坚实理论基础仍然缺乏，尤其是在与经典的基于投影的技术进行比较时。本文旨在朝这一方向迈进一步，对我们称之为对称自编码器的一大类深度学习架构进行全面分析，这类架构近年来频繁出现在相关文献中。具体而言，我们对不同类别的对称架构进行了形式化区分，并从数学角度分析了它们的优势与局限。例如，我们表明，带有正交归一约束的对称自编码器，其重构误差可以借助著名的 Eckart-Young-Schmidt（EYS）定理来理解。作为分析的副产品，我们进一步提出了适用于对称自编码器的 EYS 初始化策略，该策略基于奇异值分解（SVD）的迭代应用。为验证我们的研究结果，我们开展了一系列数值实验，将所提出的方法与传统深度自编码器进行基准比较，并讨论模型设计与初始化的重要性。