arXiv cs.AI精选84

Semantic Behavioral Watermarking:面向 LLM Agents 的抗释义与抗伪造溯源

Semantic Behavioral Watermarking: Paraphrase-Robust and Forgery-Resistant Provenance for LLM Agents

· 7天前

精选理由

提出抗改写、防伪造的智能体行为水印,提升模型轨迹溯源与归属验证的可靠性。

AI 摘要

行为水印将所有者标识嵌入 LLM Agent 的高层动作选择中,无需触及输出 token 即可提供溯源能力。以往的 Agent 水印存在两个方面的问题。首先,之前的三种方案都将水印绑定到精确的动作符号上,因此即使观测未发生变化,重命名工具也会导致解码不同步;在 AgentMark 自身的鲁棒性测试中,仅对观测进行释义改写就会使比特恢复率降至 16.8%。其次,之前所有 Agent 水印研究的都只是移除攻击:没有任何研究探讨对手能否伪造出一条可验证为他人所有的轨迹,而对于文本水印,Jovanović et al., 2024 已对这一问题给出了肯定答案。我们提出 Semantic Behavioral Watermarking (SBW):在历史条件约束下,对语义动作簇进行水印嵌入,并将公开簇分箱替换为基于密钥且抗碰撞的分箱;其中,新桶的分配在随机预言机模型中被证明是不可预测的。在五种 Agent 模型(3B-14B,来自四家供应商)和三种编码器上,两个基准测试均呈现相同的排序结果:在 ToolBench 上(每个模型 600 条轨迹),在经置换校准的 1% FPR 下,重写场景中的检测率,簇级方法为 0.49-0.66,而精确符号方法为 0.05-0.17;选择一致率分别为 72-83% 和 22-27%,后者采用 logit 偏置。在 ALFWorld 上(每个模型 100 个回合),对应数值分别为 0.92-0.97 和 0.00-0.01。带密钥的分箱将自适应伪造率从 100% 降至主要工作点的假阳性下限(bge,r=64)。我们还明确了该保证不涵盖的边界:当对手复制受害者自身的步骤时,乱序拼接攻击会被抵御(Qwen2.5-3B 上为 0.000),但链式重放在五种模型上仍为 0.76-0.98;这一问题作为开放问题报告。释义鲁棒性使每步水印容量付出的代价约为一半。代码见 https://anonymous.4open.science/r/SBW-Agent-Watermark。

查看原文(arXiv cs.AI)