arXiv cs.LG精选75

ParaGeo:将副语言变异分解为共享潜在几何结构

ParaGeo: Decomposing Paralinguistic Variation into a Shared Latent Geometry

· 9天前

精选理由

提出统一坐标分解语音副语言变化,为可解释测量与精准控制提供方法。

AI 摘要

arXiv:2610.03125v1 公告类型:cross 摘要:语音表达会随着所要求的副语言属性和语言内容的不同而变化。我们提出 ParaGeo,在冻结的语音语言模型中对副语言变异进行基于匹配内容的分解。合成的音频标记通过固定的听取提示进行重放;池化后的键/值(K/V)表示经过中心化处理,并投影到共享的低维空间中。我们的 GLM-4-Voice 探针涵盖了来自 12 个基准系列的 80 个请求控制变量,涉及 8 个句子。使用全局拟合的校准基,基于该基的内容留出质心准确率为 9.49%,而置换基线为 1.25%;相同标签跨内容的余弦相似度为 0.285,而基线为 0.017,且两项条件置换检验均得到 p = 0.001。另一项包含 10 种场景和 6 种风格的探针揭示了跨场景可复现的对比方向。静态、加性和时间性干预产生了取决于属性、层级和调度方式的响应特征。这些结果为测量副语言结构提供了一种共享坐标表示,也为潜在语音控制提供了一个经验起点。代码可在 https://github.com/yuhanlydia/ParaGeo 获取。

查看原文(arXiv cs.LG)