将预训练 LLM 重新用作高保真连续文本自编码器

arXiv:2609.27248v2 公告类型：替换 摘要：下一个词元预测使自回归语言模型能够生成高度流畅的文本，但它只能通过序列分解间接表示全局结构。相比之下，高保真自编码器已成为图像生成中的标准基础模块，使生成模型能够在连续潜空间上运行；而文本尚缺乏同样忠实的连续表示。我们提出 LLMAE，通过将中间层的激活暴露为固定长度的潜在瓶颈，将预训练的仅解码器语言模型重新用作连续文本自编码器。LLMAE 通过结构化注意力掩码和 LoRA 适配实现了这一接口，同时利用原始 LLM 的生成先验。在两个骨干模型（270M Gemma 3 和 0.5B Qwen2.5）上，LLMAE 能够高准确度地重建最长 1024 个词元的序列，并逐字复现多达 97% 的文档。我们通过训练一个轻量级扩散模型展示了其下游应用价值：该模型能够直接在冻结的 LLMAE 潜空间中生成详细的图像描述。通过将文本映射到固定长度的连续潜空间，我们的方法为下游适配提供了有效基础，同时受益于原始 LLM 的流畅性。代码和模型可在 https://github.com/arkanath/LLMAE 获取。