LatentPress：超越文本和视觉的上下文压缩

压缩后的上下文通常以人类可读文本或需要解码的渲染图像形式传递，即使它的使用者是语言模型也是如此。我们提出 LatentPress，它将对话历史和长文档写入第三种表示：连续记忆 token，冻结的解码器通过其输入嵌入接口直接读取这些 token，在推理时无需重建文本。一个与读者匹配的小型写入器仅训练一个适配器即可实现 4.2M-26.2M 参数（约占解码器的 0.1%），压缩率达到 4-16 倍。在 LongMemEval 上，LatentPress 在 7.70 倍压缩下达到 0.504 的准确率，而未压缩证据为 0.490，优于文本摘要（0.184）和基于 OCR 的压缩（0.426 到 0.312）。在 LongBench-QA 上，领域内写入器在 4-8 倍压缩下与原始上下文读取相当或更优，而 16 倍时则略逊于原始上下文。写入每段对话耗时 43 毫秒，大约比文本摘要或 OCR 重建快一个数量级；读取速度比原始上下文或缓存的 OCR 快 5-9 倍。我们在两种迁移设置下验证了该接口：从 UltraChat 零样本迁移到 LongMemEval 记忆问答，以及从基于 LongMemEval 的问答迁移到未见过的 LongBench 文档领域，从而确立了直接软 token 作为一种超越文本和视觉的实用、面向机器的上下文接口。实验实现可见：https://github.com/xuyd16ai/context_softtoken_compress 。