在预训练和检索期间对蛋白质设计系统的语料库进行投毒

arXiv:2610.21200v1 发布类型：新 摘要：蛋白质基础模型日益支持新型生物序列的生成，但它们对大型公共数据集的依赖，也为对其学习和检索材料进行对抗性操纵创造了机会。我们研究了针对蛋白质设计系统的两种纯数据投毒攻击：第一种针对自回归蛋白质语言模型的预训练语料库，第二种针对文本引导型蛋白质生成器的检索语料库。对于第一种攻击，我们对 3 亿参数的 ProtGPT2 和 ProGen2 变体进行预训练，引入包含两个触发器之一、后接三个载荷之一的投毒蛋白质序列。在所有投毒运行中，两种架构都在均匀投毒和递增式投毒方案下，获得了高度可靠的、依赖触发器的生成能力。在递增式暴露条件下，最早仅在 200 个受污染样本后就出现多数激活；而在均匀方案下，最早的激活约发生在 5000 个投毒样本之后。对于第二种攻击，我们向检索语料库系统中插入记录，同时不修改其权重或解码过程。单条查询感知记录在 58% 的模板化请求和 97% 的自由文本请求中占据了前 16 位检索位置。在成功检索到投毒记录的请求中，62% 生成了发生改变的序列，另有 19%–21% 通过 profile-HMM 同源性获得了所插入的结构域。使用 1500 条记录的通用查询无感知攻击同样实现了显著的检索捕获和结构域转移。总体而言，这些发现表明，对抗性蛋白质序列贡献可以在预训练期间建立持久且特异于序列的行为，或在推理时重定向蛋白质生成，同时基本保留模型的常规行为。我们的工作表明，蛋白质序列数据的完整性和生物学来源是生成式蛋白质设计系统的关键保障。