解读用于欺骗检测的 SSL 表征：一项 WavLM 研究

arXiv:2610.23526v1 公告类型：cross 摘要：WavLM 等自监督语音模型在欺骗检测方面取得了出色的性能，但究竟哪些层编码了最相关的欺骗信息，以及它们捕捉了哪些声学属性，仍不清楚。我们使用 ASVspoof 5 数据库，对 WavLM 开展了逐层可解释性研究，结合了三项互补分析：（i）针对语音合成、语音转换和对抗性攻击，在攻击级别进行评估的逐层线性探测；（ii）将各层表征与欺骗相关声学特征联系起来的典型相关分析（CCA）；（iii）对层子集进行穷举网格搜索，结果表明，使用五层的性能优于对全部十三层进行池化。CCA 分析显示，大多数声学特征在中间层达到与表征的最高对齐度，随后逐渐下降；而音质指标抖动、闪烁和谐噪比则呈现相反趋势，其相关性随着层数加深而增强。嵌入可视化表明，更深层捕捉到的是不同攻击之间连续的声学相似性，而非离散的类别，这意味着这些层编码的是基础性的合成伪影，而不是特定于攻击的特征。