GenoTrace:用于基因组基础模型蒸馏的可继承水印
GenoTrace: Inheritable Watermarks for Genome Foundation Model Distillation
精选理由
揭示基因组模型蒸馏中的水印继承机制,为生成序列溯源与安全审计提供方法。
AI 摘要
arXiv:2609.35881v2 公告类型:replace-cross 摘要:基因组模型能否保留一份可检测的记录,表明曾用于训练它的合成序列?我们使用 GenoTrace 研究蒸馏过程中的水印继承,这是对绿色列表水印的一种考虑密码子特征的扩展。两个令牌级因素利用密码子位置和生物特异性的密码子使用情况调节教师模型的生成偏置。由此生成的序列用于训练一个更小的学生模型,其输出在没有启用水印处理器的情况下接受审计。在三种随机种子的 GenomeOcean-500M-to-100M 实验中,联合配置的平均审计得分达到 17.88,并在固定阈值下实现 94.5% 的检测率。在采用知悉密钥的令牌替换后,检测率仍为 49.0%;相比之下,可用的单随机种子普通水印对照方法的检测率为 0%;在结合多种针对机制的核苷酸编辑后,检测率为 47.0%。其他实验在五个按生物条件划分的数据集以及最高达 40 的教师—学生规模比上,验证了继承信号的存在。组件消融实验和计算序列质量测定揭示了检测强度与编码覆盖率之间不同的工作点。GenoTrace 提供了一种实用的令牌级构造方法,并实证说明了基因组结构如何塑造继承的水印信号。这些发现适用于共享分词器的蒸馏过程和所测试的编辑程序;校准与生物学实用性则被视为独立的评估要求。