用于语言模型的张量方法：从词元表示到训练、适配、推理、压缩和可解释性

大型语言模型（LLMs）由词元表示、权重、适配更新、缓存和激活值等结构化高维对象构成，而传统以矩阵为中心的视角并未充分利用其多线性结构。张量分解和张量网络为这种结构提供了一种有原则的代数语言，但现有文献常将它们视为彼此孤立的压缩机制。本综述通过两个互补视角组织 LLMs 的张量方法：一个覆盖词元化、嵌入、预训练、适配、压缩、推理和可解释性的七阶段生命周期分类，另一个覆盖嵌入、注意力和前馈网络的组件视角。我们提供统一的记号和理论基础，分析单个 Transformer 组件的张量化策略，并比较各生命周期阶段的方法，同时明确评估协议和模型规模方面的差异。我们进一步将张量方法与相邻的高效技术以及概率张量网络联系起来。最后，我们综合开放挑战并引入 $ρ_{\rm gap}$，这是一种用于衡量理论内存降低与实测系统级加速之间压缩-落地差距的指标。通过将张量化视为一种通用的结构原则，本综述为张量化语言模型提供了一个结构化的入口，并阐明了参数节省在何种情况下有望转化为内存效率、计算效率或可解释性。本文专用的 GitHub 页面可通过 \href{https://github.com/ma-tt-a/awesome-tensor-methods-for-llms}{this https URL} 访问。