arXiv cs.LG精选79

RMCW:一种基于 Reed--Muller 码、抗删除的语言模型水印

RMCW: A Deletion-Robust Watermark Based on Reed--Muller Codes for Language Models

· 9天前

精选理由

介绍一种抗删除水印方法,提升大模型生成文本在删改攻击下的检测可靠性。

AI 摘要

arXiv:2610.02817v1 公告类型:cross 摘要:大语言模型(LLM)水印为识别由特定模型生成的文本提供了一种轻量级机制,但其在后处理攻击下的鲁棒性仍然较为脆弱。删除攻击尤其具有挑战性,因为它会导致词元位置发生偏移,并破坏观测词元与其原始水印位置之间的对齐关系。我们提出 Reed--Muller Code Watermarking(RMCW),一种基于 Reed--Muller 码的 LLM 水印方法。不同于全局码字恢复,RMCW 搜索能够存活的局部代数结构,利用 Reed--Muller 码字的仿射线限制所诱导的 Reed--Solomon 一致性。在生成过程中,RMCW 通过由密钥控制的词汇表划分,将 Reed--Muller 结构注入序列。在检测过程中,它将给定文本映射到由密钥确定的词汇分箱,并使用 Berlekamp--Welch 测试检验局部子序列是否具有低次数 Reed--Solomon 一致性。在 C4 和 ELI5 数据集上使用 OPT-1.3B 和 Llama-3.1-8B-Instruct 进行的实验表明,RMCW 保持了较强的干净文本可检测性,并且在多种删除攻击和改写攻击下,性能优于或持平于基线方法。我们的代码可在 https://github.com/BaichengDanny/RMCW 获取。

查看原文(arXiv cs.LG)