LLM-Attacker：用于评估分割式和分布式 LLM 系统隐私性的统一红队框架

arXiv:2610.22722v1 公告类型：cross 摘要：分割式语言模型将输入文本保留在客户端，但会将中间表示发送到服务器。攻击者可以从这些消息中重构文本。当攻击者看到的消息、掌握的模型权重或使用的数据集和恢复指标不同时，隐私评估之间的比较会变得困难。我们提出了 LLM-Attacker，这是一种记录这些选择，并使研究人员能够检查、比较和扩展评估的框架。兼容的攻击可以复用已记录的消息，其预测结果会被保存下来，以便进行独立评分。评分规则要求先提供一个相关联的未防御基准，防御措施才能通过评估。报告还会指出尚未测试的攻击。在一项受控的 GPT-2 实验中，加入训练期间返回的梯度后，token 恢复率从 94.20% 提高到 97.38%，完整文档恢复率从 13.71% 提高到 37.77%。token 增益的 95% 区间高于测试前预先设定的两个百分点阈值。这项实验与一项配套研究共享；在本文中，实验用于测试评估对攻击者访问权限变化的响应。进一步的研究测量了语料库选择和压缩防御措施对恢复效果的影响，比较了一个经过调整的已发表攻击与其参考实现，并测试了测量代码。该框架将实现检查与实测攻击有效性分开报告。每项隐私声明都应说明攻击者、数据集和评分规则，报告其控制变量，并指出尚未测试的攻击。