为声学基础模型植入可由物理方式实现的触发器后门

arXiv:2610.09819v1 公告类型：交叉发布 摘要：声学基础模型（AFMs）推动了声学应用的普及，使人们能够以极少的资源构建用于语音识别、说话人验证等任务的强大模型。然而，基于 AFMs 的应用的安全性仍缺乏充分研究。为填补这一空白，我们提出了 Foundation Acoustic model Backdoor（FAB）攻击，表明最先进的 AFMs 在实际条件下也容易被植入后门。尽管对攻击者能力的假设极为有限（例如，无法访问预训练数据），我们仍证明，FAB 能在保持正常性能的同时植入后门；这些后门在微调后依然存在，并在被激活时导致多种下游任务的性能显著下降。值得注意的是，FAB 使用的触发器与任务无关、可由物理方式实现、不易察觉且无需同步（例如，背景中的警笛声）。我们使用两个领先的 AFMs、九项下游任务和四种不同的触发器对 FAB 进行了评估。我们进一步证明了它在面对已有防御措施时，以及在数字和物理环境中的有效性。虽然大规模端到端微调可以缓解 FAB 攻击，但这种防御方式资源消耗大，且针对特定任务。我们的工作揭示了 AFMs 面临的重大风险，并呼吁开发更先进的防御措施。