SemanticFold：潜在序列压缩将语言建模、可解码性和推理区分开来

arXiv:2610.10304v1 公告类型：新 摘要：我们研究提示前缀的潜在序列压缩是否能够保留大型语言模型在推理过程中所依赖的能力。我们提出 SemanticFold，这是一种在学习到的边界处折叠前缀隐藏状态的压缩方案，并在五种模型规模上对其进行评估：Qwen3-1.7B、Qwen3-8B、SmolLM2-1.7B、Pythia-1.4B 和 Pythia-6.9B。我们采用固定目标协议：对冻结的前缀分别进行原生执行或压缩处理，然后两条路径都对完全相同的后续词元进行教师强制。该设计排除了目标选择导致似然变化的解释。我们考察了五类终点评估指标：固定目标负对数似然、有限标签推理准确率、线性探针可访问性、开放式生成，以及系统层面的内存和延迟。我们发现，压缩会使这些指标以非单调方式变化，并且它们并不存在一个共同的压缩阈值。在 Qwen3-1.7B 上，当压缩比 R=1.7 时，在进行 10000 次配对自助法抽样后，压缩模型相对于原生模型的平均 NLL 降低了 0.135。在 SmolLM2 上，当 R=1.2 时，平均变化值比原生模型高 0.013。在两个 Pythia 检查点上，NLL 基本保持不变。通过分解 NLL，将序列缩短与学习到的残差变换区分开来，我们发现 Qwen 的有利似然主要归因于残差适应，而非单纯的序列缩短。MLP-only 在不缩短序列的情况下应用该变换，其 NLL 比 Full SemanticFold 低 0.082。在不同条件下，线性探针准确率和宏平均 AUC 的绝对变化均小于 0.03，且置信区间跨越零。我们 conclue，潜在压缩下的能力保留不存在单一的标量证书：语言模型拟合、可解码性和推理行为回答的是不同问题，并且在同一种压缩操作下可能朝不同方向变化。