语音

语音识别、合成与对话语音模型的动态。

arXiv cs.LG61

Does Financial Speech Need Continual Learning Regularization? A Study of EWC and mini-KFAC on Earnings Call ASR

arXiv:2610.13432v1 Announce Type: cross Abstract: Earnings call transcription presents a realistic continual learning scenario where Automatic Speech Recognition (ASR) systems are updated with new recordings but risk catastrophic forgetting of previously learned financial speech patterns. Adapting Whisper-small from a general-domain speech corpus to the Earnings22 benchmark reveals the opposite: all evaluated methods exhibit improvement on held-out financial speech from the same domain during adaptation rather than forgetting. This task complementarity makes regularization counterproductive. Nevertheless, when regularization is warranted, a layer-wise mini-Kronecker-Factored Approximate Curvature (mini-KFAC) approximation seems to achieve lower word error rates (WERs) and more stable optimization than standard diagonal Elastic Weight Consolidation (EWC). The results suggest that task complementarity should be assessed before applying continual learning constraints, and prefer mini-KFAC EWC over diagonal EWC when needed.

arXiv cs.LG73

儿童语音 ASR 适配与成人语音保持：一项实证研究

arXiv:2610.08827v1 公告类型：cross 摘要：自动语音识别（ASR）系统在处理儿童和非母语说话者的语音时通常表现不佳，而将成人 ASR 模型适配到儿童语音可能导致成人语音遗忘。我们在阿拉伯语和英语环境下研究兼顾成人语音保持的儿童 ASR 适配。我们比较了全量微调、LoRA，以及在编码器--解码器、编码器--CTC 和基于 AudioLLM 的 ASR 系统上进行的事后权重空间合并。实验使用了阿拉伯语母语和非母语儿童语音、英语 MyST 儿童语音，以及来自 MGB-2 和 LibriSpeech test-clean 的成人语音基准。我们使用 WER 评估识别质量，并通过 Retention Index、Child Adaptation Gain 和 Adaptation Recovery 量化适配与保持之间的权衡。结果表明，儿童语音适配是必要的，尤其是对于非母语阿拉伯语和英语儿童语音；但直接适配通常会降低成人 ASR 性能。双语适配比特定语言适配更加稳定。权重空间合并通常能够改善这种权衡，尤其是对于编码器--CTC、Whisper 和基于 AudioLLM 的 ASR；其中，LERP 更有利于保持成人语音性能，而 TIES 则能恢复更强的儿童语音增益。对于编码器--解码器模型，直接进行双语微调在原始 WER 指标上仍然表现最佳。\footnote{代码和模型可从 https://github.com/qcri/Child-ASR-Adaptation 获取。

arXiv cs.AI73

Itgan 参加 NADI 2026 共享任务：面向鲁棒、混合方言及语码转换阿拉伯语 ASR 的参数高效 Whisper 适配

我们介绍了 Itgan 用于 NADI 2026 三项 ASR 子任务的系统，分别为鲁棒的国家级 ASR（1.1）、混合方言 ASR（1.2）和突尼斯语码转换 ASR（1.3）。三者采用同一套方案，即在消费级 GPU 上通过 LoRA 适配 Whisper，并各自通过不同的扩展取得提升。在子任务 1.1 中，测试时会提供方言标签，从混合数据训练的适配器出发继续训练各方言专用模型，带来了最大的性能提升，提交系统的国家平均词错误率（WER）达到 57.1%。评测后，我们在冻结的编码器特征上训练了一个线性探针，无需标签即可为话语选择对应模型，并取得了使用真实标签进行理想路由所带来收益的 44%。在子任务 1.2 中，基础模型的选择比适配器容量更重要，而系统组合只有在加入一个低相关性的成员模型后才产生帮助，最终达到 46.7% 的 WER。在子任务 1.3 中，我们的系统以 14.49% 的 WER 位列第二，并在排名靠前的提交系统中取得了最低的字符错误率（CER），为 5.38%。最后 0.60 个百分点的 WER 降幅是在没有进一步训练的情况下实现的，主要来自对多次独立训练所得模型在权重空间中的精确平均，其余提升则来自 ROVER 投票。每项比较都进行了配对自助法检验，我们还报告了八个未奏效的探索方向。

arXiv cs.LG74

AccentCL：通过增量扩展实现鲁棒的口音分类

arXiv:2610.07426v1 公告类型：cross 摘要：口音分类器通常在固定的标签集合上进行训练，无法随着新数据的获取而纳入新的口音类别。此外，由于不同语料库之间的录音条件存在差异，带口音的语音语料库往往表现出明显的类别不平衡和/或域偏移。我们提出了 AccentCL，这是一种用于英语口音分类的类增量学习框架，能够应对类别不平衡和跨语料库域偏移问题。AccentCL 从冻结的 Whisper-Large-v3 编码器中提取多层表示，并采用具有不平衡感知能力的交叉熵损失来减小对多数口音类别的偏置，同时使用域均值对齐损失，最小化不同训练语料库之间的分布均值偏移。随后，模型通过基于回放的持续学习扩展标签空间：利用冻结的基础模型保留知识，并采用旧类到新类的间隔损失，减少对新增类别的过度预测。在一个五类别口音分类任务中，AccentCL 达到了 77.1% 的平衡准确率和 76.9% 的宏平均 F1 分数。我们进一步评估了该模型增量纳入两种新口音类别的能力：西班牙口音英语和中文口音英语。在预训练模型中加入西班牙口音英语后，AccentCL 在新类别上的 F1 达到 83.3%，同时在基础类别上保持 77.3% 的平衡准确率。随后加入中文口音英语时，模型在新类别上取得 61.8% 的 F1，同时在此前学习的类别上保持 77.6% 的平衡准确率。这些结果表明，AccentCL 能够实现鲁棒的地域口音分类，并且无需完整重新训练即可添加新的口音类别。

Hacker News AI39

Ask HN: Are there AI models for generating sounds based on a text and reference?

I've been having a hard time finding a solution. Is there really no commercialized model that I can feed in a reference sound and text instruction and get another sound out? Right now having a multimodal inputs to image or text output is a commodotized, solved problem. IE you can put a prompt for some image and use a reference image to guide the model on what you want. After all, a picture is worth a thousand words right? Ive also used a text and audio input in order to get a text description or classification out. I cannot for the life of me find a solution for Audio + text -> Audio My usecase is that I'm trying to generate new sound effects based on a source that doesn't have that many clean examples and thought this would be just another solved workflow but I'm not finding much. Tried elevenlabs SFX but it's only text->audio and without the reference, it's hard to guide with just text and recreate a sound with any accuracy. I tried the Stable Audio 3 model which is supposed to do what I want but the results were terrible. This modality seems to be stuck where image generation was in 2016. Is there something else or is this just not a common need? Comments URL: https://news.ycombinator.com/item?id=49972125 Points: 1 # Comments: 0

arXiv cs.LG82

生物推理模型何时使用其生物学输入？

arXiv:2610.00898v1 公告类型：新 摘要：生物推理模型通过后训练，将 LLM 与生物基础模型表征及生物学文本连接起来。人们将其基准测试准确率视为 LLM 在这些输入上进行推理的证据。我们在涵盖 DNA、蛋白质和单细胞任务的六种生物推理模型中检验这一假设。我们在固定查询和其他输入的同时扰动一个生物学输入，构造证据冲突，将一个基因组、蛋白质或细胞的基础模型表征与另一个对象的文本配对；我们还对语言模型接收的表征拟合线性探针，并将推理轨迹与生物学输入进行比较分析。在所评估的任务中，Evo2 和 ESM3 对 BioReason 和 BioReason-Pro 性能的贡献很小。打乱 DNA 序列几乎不会改变 BioReason 的疾病预测准确率；在证据冲突情形下，这两个模型分别有 97.9% 和 99.7% 的情况下遵循文本信息。基于 Evo2 和 ESM3 表征训练的线性探针能够预测任务目标，这表明这些基础模型编码了与任务相关的信息，但它们对 BioReason 和 BioReason-Pro 整体性能提升的作用有限。相比之下，基础模型输入对 ChatNT、Prot2Text-V2 和 CellWhisperer 的性能有贡献，而基因句子中的差异表达基因则对 Cell2Sentence-Scale 的性能有贡献。在 BioReason-Pro 的 SFT 和 RL 检查点以及 42 个 BioReason 检查点中，准确率的提升并不意味着生物学输入的性能贡献更大。BioReason 的推理轨迹会错误陈述核苷酸变化，而在证据冲突情形下，BioReason-Pro 的推理轨迹会描述最终预测中遗漏的功能。我们发现，当前的后训练策略并不能确保基础模型表征对任务性能有所贡献。

Hacker News 熱門65

Show HN：HN.watch – 所有 Hacker News 帖子的视频

大家好 HN，我是 Per，Scrimba（YC S20）的创始人。在过去十年里，我们一直用一种基于 HTML 的视频格式教人们编程。现在我们把 LLM 接入了其中，让人们可以创建关于任何内容的讲解视频。它叫做 “Scrimba Explain”。 为了向 Hacker News 演示这项技术，我们构建了 HN.watch。它就像 HN，但用讲解视频代替文章。我们会在有人第一次点击某个链接时即时创建这些视频。 虽然使用 HTML 而不是扩散模型有明显的视觉缺点，但它有三大优势：- 速度：比基于像素的视频生成快得多（从点击到播放只需几秒）- 成本：我们每个视频的成本约为 0.04 美元。（不包括某些视频会使用的图像生成；这会很快推高成本）- 易于编辑：上述优势也让 AI 辅助编辑变得便宜且快速 我们的假设是，如果视频创作从“几美元和几分钟”变成“几美分和几秒钟”，就会解锁一批新的使用场景。以下是我们已经看到的一些：- 为每一个 Pull Request 提供视频讲解（我们内部就是这样做的）- 为你的内部/外部文档中的每个页面配一个视频 - 在约 4 秒内把一篇复杂文章变成视频（通过我们的 Chrome 扩展）- 课程创作者可以在录制正式内容前快速起草课程 - 人们还会创作很多个人内容，比如给孩子的故事、婚礼邀请、生日等 这个技术栈基于一种开源编程语言（Imba），由我们的 CTO Sindre Aarsæther 创建。它会编译成 JavaScript，因此能与 npm + node 生态系统完全互操作。你可以在这里了解更多： https://imba.io/ 我们还构建了自己的同步引擎（OP），以及一个用于代理的上下文管理系统（Q）。我们原本担心这会让 LLM 在为我们写代码时遇到困难，因为这两者都不在它们的训练数据中（其中 Imba 的数据也很少）。然而，我们惊喜地发现 LLM 实际上非常擅长我们的技术栈。这可能是因为这个技术栈极其紧凑。Imba 很简洁，OP 也是如此，一个声明就能设置存储、同步、权限、UI，以及 AI 能看到的内容。这意味着前端、API、数据库和 JSON 之间不需要相互转换，模型也就不容易混淆和出错。 简单来说，我们没有使用 React.js、Express、Supabase 和 LangChain，而是从零开始全部自己构建。绝对是深受“非我发明”综合征之苦，哈哈！至于模型，我们使用 Gemini、GPTs、Inworld、ElevenLabs 以及其他一些模型。 如果你想试试，可以任选一种：- Web UI（scrimba.com/explain）- MCP（添加到你的编码代理中）- ChatGPT Plugin - Chrome Extension 你可以在我们的文档中找到以上所有内容的链接： https://docs.scrimba.com/explain/introduction 最后，这是该工具的一个真正基于像素的视频： https://www.youtube.com/watch?v=k6rbHmBxSEs 很想听听你的反馈，也想知道是否有人对其他使用场景有想法。 PS：考虑到 HN 群体有多偏爱文本，我预计这次发布会在 HN 上遇到相当多的反对意见。这类工具并不适合所有人。但如今确实有很多人更喜欢视频而不是文本，尤其是年轻一代。 评论 URL： https://news.ycombinator.com/item?id=49879401 积分：18 评论数：8

arXiv cs.AI73

Agentic-GER：利用全局上下文进行长篇语音术语恢复

近年来，语音语言模型的进展提升了长篇音频的自动语音识别（ASR）性能。然而，准确且一致地转写领域专用术语仍然具有挑战性。受大语言模型（LLM）的世界知识和上下文理解能力启发，我们提出了 Agentic-GER，这是一种基于 LLM 的长篇语音术语纠错智能体。该智能体利用完整转写文本中的全局上下文来识别可疑术语并消解歧义假设。它会有选择地重新转写源语音，以核验候选修正结果，并利用已接受的编辑来指导后续决策。在 GigaSpeechBench 上使用四种 LLM 和两种 ASR 系统进行的实验表明，无论是否启用思考模式，该方法都能在中文和英文中持续改善术语识别效果。在中文语音上，相较于 Whisper 基线，Agentic-GER 将偏置字符错误率（B-CER）最高相对降低了 36.8%。

arXiv cs.AI74

通过对抗学习实现面向音频深度伪造检测的鲁棒工作流生成

语音合成和语音转换技术的快速发展使音频深度伪造变得越来越逼真，给实际应用带来了严重的安全风险。尽管现有检测方法在受控条件下取得了优异性能，但在现实世界的扰动和损坏条件下往往难以实现良好的泛化。本文提出 ROGUE，一种通过协调多个检测工具动态构建鲁棒检测工作流的框架。ROGUE 将工作流生成建模为序列决策问题，并引入双智能体范式：其中，扰动智能体生成音频扰动，策略智能体则学习在受扰条件下选择并执行检测工具。通过对抗学习，ROGUE 实现了感知扰动的工具选择、自适应执行策略，以及对分布偏移更强的鲁棒性。在多个数据集和现实世界损坏条件下开展的大量实验表明，ROGUE 在鲁棒性和泛化能力方面均持续优于强基线方法。我们的结果凸显了经对抗优化的工作流生成对于构建能够在真实部署环境中可靠运行的音频深度伪造检测系统的有效性。

arXiv cs.AI78

面向直播语音合成的多维韵律评判

评估直播语音合成（TTS）需要考察情感、语调和能量等细粒度、高表现力的韵律，而传统的 MOS 预测器无法捕捉这些特征。尽管 Gemini 等专有大型语言模型（LLM）能够评估这些方面，但其成本过高，难以用于大规模推理和强化学习反馈。为此，我们首先提出 Live-ProsodyJudge（LPJ），一种从 Gemini 蒸馏至 Qwen3-Omni 的高性价比成对评估器。然而，我们发现标准多维评估中存在一个关键缺陷：判定耦合。评判器往往会懒惰地将所有单项维度的评分与整体偏好保持一致，把丰富的多维评分标准压缩成一个单一的偏好比特。为解决这一问题，我们进一步提出 Decoupled-Live-ProsodyJudge（D-LPJ）。D-LPJ 通过移除整体判定目标来避免盲目跟随；在监督微调（SFT）期间屏蔽不确定的成对维度；并引入一种新颖的局部跨度 GRPO 策略，将归一化优势严格应用于其对应的推理跨度。在高度精心筛选、由人工标注的测试集上，采用 10 个样本并平衡顺序的 LPJ，其点准确率高于单次 Gemini 调用；同时，D-LPJ 成功生成了相互独立、解耦的维度判定。此外，在 Best-of-8 TTS 候选选择竞赛中，LPJ 选出的语句在高置信度案例中有 85.29% 位于人工评选的前 3 名之内，证明了其在细粒度 TTS 偏好优化中的有效性。

arXiv cs.AI75

NOPE-HYPE：面向多样声学环境的鲁棒语音转文本结构化模拟工作流

鲁棒的语音转文本系统应能在多样的声学条件下可靠运行，但实际工作流缺乏可控工具来系统地探索不同环境。大型语音模型仍然容易受到未见过的声学条件影响，因为训练数据很少覆盖真实环境的全部范围。我们提出 NOPEHYPE，这是一种结构化训练工作流，将可控环境模拟器、基于功率谱密度（PSD）模板的覆盖率最优环境缩减，以及针对模拟器控制参数的小规模可解释超参数搜索相结合。我们表明，在 Whisper 和 SeamlessM4T 模型上，模拟器生成的噪声能够达到与均衡真实噪声训练相当的性能；同时，我们提供了具有原则性的环境原型集合，并通过结构化的 27 次运行超参数扫描确定了实用的模拟器默认配置。

arXiv cs.AI77

Stride-k 子采样：用于 Whisper 的免训练音频 Token 减少

Whisper 通过一个固定的 1500-token 编码器接口来表示语音，如今已成为 ASR 解码器和基于 Whisper 的语音语言模型（SpeechLMs）的默认表示，但其冗余性在很大程度上仍未被检验。我们提出 stride-k 子采样，这是一种确定性的索引操作，在卷积 stem 或 encoder transformer 之后保留每第 k 个 token。在五种 Whisper 规模上，k=2 在这两个位置都能保持基线 WER，CKA 将这种稳定性归因于 stem 处的声学重叠以及 encoder 输出处由 attention 引起的重分布。在这两个位置都应用 stride-2 可将音频 token 减少 75%，并将总 GFLOPs 降低 52-58%，在大多数 ASR 基准上仅带来较小的 WER 代价，而在更困难的基准上代价更大。相同配置也扩展到了三种基于 Whisper 的 SpeechLMs，在较强基线上的准确率下降较小，在较弱基线上的下降较大，同时将端到端延迟降低 19.6-27.4%。由于无需训练或辅助计算，stride-k 子采样利用了 Whisper 的预处理冗余，表明其音频 token 接口所承载的容量超过了下游任务所需。

OpenAI Blog61

Introducing Whisper

We’ve trained and are open-sourcing a neural net called Whisper that approaches human level robustness and accuracy on English speech recognition.