用于事后缓解大语言模型记忆的信息瓶颈
An Information Bottleneck for Post-hoc Memorization Mitigation in LLMs
精选理由
提出无需重训模型的信息瓶颈方案，降低大模型对版权文本的记忆提取风险，同时保持语言任务表现。
AI 摘要
arXiv:2611.07669v1 公告类型：新提交 摘要：近期研究表明，大语言模型（LLMs）能够记忆并复现受版权保护的训练数据，引发了严重的隐私和知识产权担忧。在本研究中，我们探讨能否通过信息瓶颈，在不修改或重新训练底层模型的情况下缓解记忆现象。我们提出了一种模块化的即插即用框架，在冻结的 LLM 主干网络与其语言建模头之间插入一个非参数变分信息瓶颈（NVIB）。通过在词元预测前压缩最终隐藏表示，该瓶颈旨在保留通用语言知识，同时滤除高度特定的已记忆序列。我们在涉及书籍段落的记忆提取任务以及标准语言建模基准上评估了该方法，以衡量减少记忆与保持下游实用性之间的权衡。实验表明，NVIB 层显著降低了已记忆内容的可提取性，同时在基准任务上保持了具有竞争力的性能。这些结果表明，添加信息瓶颈为事后缓解预训练 LLMs 的记忆现象提供了一条实用且不依赖于特定架构的途径。