arXiv cs.LG精选76

[b] = [d] - [t] + [p]:自监督语音模型发现音系向量算术

[b] = [d] - [t] + [p]: Self-supervised Speech Models Discover Phonological Vector Arithmetic

· 7天前

精选理由

新颖度 84 / 深度 80,来自 arXiv cs.LG。

AI 摘要

arXiv:2602.18899v4 公告类型:replace-cross 摘要:已知自监督语音模型(S3Ms)能够编码丰富的语音信息,但这些信息的组织结构仍缺乏深入研究。我们开展了一项涵盖 96 种语言的全面研究,分析 S3M 表征的底层结构,重点关注音系向量。我们首先表明,模型的表征空间中存在与音系特征相对应的线性方向。我们进一步证明,这些音系向量的大小与其对应音系特征的声学实现程度呈连续相关关系。例如,[d] 与 [t] 之差形成一个浊音向量:将该向量加到 [p] 上会得到 [b],而缩放该向量则会产生浊音程度的连续变化。综合来看,这些发现表明,S3Ms 使用具有音系可解释性和组合性的向量来编码语音,展现出音系向量算术能力。所有代码和交互式演示均可在 https://github.com/juice500ml/phonetic-arithmetic 获取。

查看原文(arXiv cs.LG)