声音“克隆”即风格迁移

arXiv:2605.16578v4 公告类型：替换并交叉列出 摘要：人工生成的语音正日益融入日常生活。其中，声音克隆支持了多种重视保留身份特征的应用，例如补全录音、以新的语言配音，或为丧失言语能力的人保留声音。然而，我们在研究中发现，尽管名为声音克隆，这项技术并不能忠实地“克隆”一个人的声音。相反，我们发现，广泛使用的声音克隆模型会系统性地对原始声音进行风格迁移。根据人工标注者的评价，与原始声音相比，克隆声音被认为更具权威感、更温暖、更像客服，也更像人类。人工标注者还表示，相比原始声音，他们更信任克隆声音，也更愿意向其透露敏感的个人信息。此外，我们的研究表明，声音克隆会导致说话者特征趋于同质化，具体表现为口音、语速以及音频嵌入空间中的方差减小。总体而言，我们的结果揭示了声音克隆技术一系列新的局限与风险，以及它们对人类行为的潜在影响。