SemanticFold：潜在序列压缩使语言建模、可解码性与推理相分离

我们研究了对提示前缀进行潜在序列压缩能否保留大语言模型在推理时所依赖的能力。我们提出了 SemanticFold，这是一种在学习得到的边界处折叠前缀隐藏状态的压缩方案，并在五种模型规模上进行了评估：Qwen3-1.7B、Qwen3-8B、SmolLM2-1.7B、Pythia-1.4B 和 Pythia-6.9B。我们采用固定目标协议：对固定不变的前缀按原生方式或压缩方式执行处理，两组均对相同的续写词元采用教师强制。这一设计排除了由目标选择导致似然变化的解释。我们考察了五类终点指标：固定目标负对数似然、有限标签推理准确率、线性探针可访问性、开放式生成，以及系统层面的内存占用和延迟。我们发现，压缩使这些终点指标呈非单调变化，且它们并不共享单一的压缩阈值。在 Qwen3-1.7B 上，当压缩比 R=1.7 时，采用 10000 次抽样的配对自助法分析表明，压缩后的平均负对数似然（NLL）比原生方式降低了 0.135。在 SmolLM2 上，当 R=1.2 时，平均 NLL 比原生方式高 0.013。在两个 Pythia 检查点上，NLL 基本不变。将序列缩短与学习得到的残差变换分开考察的 NLL 分解表明，Qwen 上的似然改善主要归因于残差适配，而非仅仅缩短序列。仅应用变换而不缩短序列的 MLP-only，其 NLL 比 Full SemanticFold 低 0.082。在各条件下，线性探针准确率和宏平均 AUC 的变化绝对值均小于 0.03，且置信区间均跨越零。我们得出结论：潜在压缩下的能力保留不存在单一的标量判据；语言模型拟合度、可解码性和推理行为回答的是不同问题，在相同的压缩操作下，它们可能朝不同方向变化。