FASTDIAR：用于流式说话人分离的帧级说话人编码器

arXiv:2610.02941v1 公告类型：cross 摘要：实时对话代理需要能够流式运行并在 CPU 上执行的说话人分离系统。大多数系统会将话语级说话人编码器应用于短小且高度重叠的音频片段，这不仅浪费计算资源，也使模型针对了错误的任务进行优化。为此，我们将一种最先进的说话人识别架构改造成因果式帧级编码器：它只需读取一次音频流，即可基于长度受限的过去两秒音频窗口，每 80~ms 输出一个嵌入向量；同时，我们将其与在线聚类结合，并根据音频流的自相似度决定是否执行每次更新。该系统仅通过教师模型在模拟混合语音和域外混合语音上的知识蒸馏进行训练，并在一组固定的超参数下完成评估。在低重叠基准测试中，该系统以亚秒级延迟实现了最准确的流式说话人分离；随着说话人数增加，其性能退化程度远低于基于缓存的系统；在单个 CPU 线程上，其运行速度达到实时速度的五倍。