arXiv cs.LG精选83

你的语音质量指标有多容易被攻击?一种修正后的协议、一个基准,以及修补能带来什么

How Hackable Is Your Speech Quality Metric? A Corrected Protocol, a Benchmark, and What Patching Buys

· 5天前

精选理由

揭示语音质量指标易被攻击,提出更严谨的评测协议与基准,助力构建更可靠的防御。

AI 摘要

arXiv:2610.10899v1 公告类型:新 摘要:语音质量预测器越来越多地被用作奖励,但目前尚无衡量其可攻击性的统一方法。通常的测量存在两个缺陷。第一,扰动会经过一条处理链——此处为神经编解码器——传递给预测器,而该处理链本身就会改变分数;如果以原始输入为基准进行评分,就会把这部分变化归因于攻击。改用未扰动的往返结果作为参照后,测得的可攻击性最多会相差四倍(对于某种防御,数值从 0.31 变为 0.08)。第二,一个训练好的攻击器只是一个样本,而不是一次测量:仅随机种子不同的五个攻击器针对同一个固定预测器时,成功率在 0.00 到 0.38 之间,因此防御效果的论断需要考察多个攻击器中的最坏情况。在该协议下,四个已发表的预测器表现差异很大:NISQA 可攻击 90% 的话语,SSL-MOS 为 21%,DNSMOS 为 14%,UTMOS 为 6%。随后,我们审查了一个封闭的攻击—检测—修补循环。它只能在自身的攻击空间内增强预测器的防御能力,而且提升幅度小于攻击器之间的差异;随机扰动基线也能达到同等效果;此外,在域外评估时,它会使系统 SRCC 最高损失 0.30。针对修补后的预测器进行后训练的增强器对其的攻击成功率大幅降低(PESQ 为 -0.03,而不是 -0.23)。代码、预注册材料和运行输出均已发布。

查看原文(arXiv cs.LG)