arXiv cs.LG精选73

LadderEdit：面向LLM高效终身编辑的编辑级残差压缩

LadderEdit: Edit-Level Residual Compression for Memory-Efficient Lifelong Editing of LLMs

2026/10/09 12:00· 5天前

精选理由

新颖度 85 / 影响力 78，来自 arXiv cs.LG。

AI 摘要

arXiv:2610.11160v1 公告类型：cross 摘要：LLM的终身编辑需要在完成获取后存储数千次编辑。一类广泛使用的方法是为每次编辑附加一个LoRA适配器，这能够保持模型行为，但存储量会线性增长。为应对这一挑战，我们提出LadderEdit，一种在获取每个LoRA适配器后对其进行压缩的方法。每次编辑首先以低秩形式存储，作为低成本的草图。随后，我们在探测提示上检查该草图是否仍满足改写、泛化和局部性约束。通过检查的编辑保留草图；未通过的编辑则沿着秩梯级提升至更高秩，直至满足约束。由于每次编辑都保留了一定的表示，覆盖范围得以维持，只有困难编辑会消耗更多秩。在LLaMA-3-8B、Mistral-7B和Qwen2.5-7B上的ZsRE、CounterFact和WikiBigEdit基准测试中，LadderEdit在内存占用减少5.2倍的情况下达到与完整LoRA存储相当的效果，并且在连续进行50,000次编辑时仍保持有效。

查看原文（arXiv cs.LG）