arXiv cs.LG精选82

已签名却仍可操控:衡量并弥合离线检索增强生成中的文本—向量完整性缺口

Signed but Steerable: Measuring and Closing the Text-Vector Integrity Gap in Offline Retrieval-Augmented Generation

· 1小时前

精选理由

揭示签名无法保障检索向量忠实于文本,并提出可落地的量化码验证方案,降低边缘端 RAG 遭投毒风险。

AI 摘要

arXiv:2611.06498v1 公告类型:交叉收录 摘要:边缘设备上的离线检索增强生成(RAG)通过包含文本和预计算嵌入向量的已签名知识包进行更新。签名能够证明知识包由谁发布,却不能证明其中的向量编码了其中的文本。我们研究了这一文本—向量完整性缺口。如果验证器重新计算向量,并接受余弦容差范围内的向量,就会将可预测比例的查询暴露给控制向量的攻击者:劫持率等于角度检索间隔在该容差处的累积分布值(间隔定律)。在五个语料库和两个嵌入模型中,这些间隔都很小,因此,即便采用浮点噪声量级的理想化容差,仍有高达 5.5% 的查询面临风险(排除完全重复的文档后,任一语料库中的这一比例均不超过 1.2%);而根据我们对一个小型嵌入模型进行的 CPU INT8-FP32 对比所校准的阈值(取诚实向量余弦相似度的经验 0.1% 分位数),则使 98–100% 的查询面临风险。在运行本地语言模型的 Raspberry Pi 5 上,此类攻击将正确回答率从 0.75 降至 0.39。压缩向量存储的完整性审计同样表现不佳:在包含 57,638 篇文档的 FAISS 乘积量化索引上,全部通过审计的篡改向量使攻击者的文档在 25% 的目标查询中排名第一。改为验证量化编码,并由验证器裁决歧义,同时采用经校准的保护带和规范化处理后,我们在三个平台的样本中接受了所有诚实向量,且未给发布者留下选择余地。我们还表明,常见的浮点和动态 INT8 推理流水线在不同批次大小或架构之间无法实现逐比特可复现,并报告了关于拒答、上下文剪枝和语义筛查的预注册阴性结果。我们公开发布了代码和数据。

查看原文(arXiv cs.LG)