NemotronLabs VoiceChat：一种具备工具调用能力的开放式全双工语音到语音模型

我们介绍了 NemotronLabs VoiceChat，这是一种具备原生工具调用能力的开放式全双工语音到语音模型。NemotronLabs VoiceChat 将流式语音编码器和仅解码器语言模型相结合，并配备用于智能体文本和结构化函数调用的并行专用输出流、用于增量式用户转录的辅助 RNN-T 分支，以及流式 TTS 解码器。该设计使模型能够在统一的流式架构中完成监听、转录、推理、调用工具和语音输出，同时保留自然对话所需的时间行为。在 Full-Duplex-Bench 1.0 上，NemotronLabs VoiceChat 在参与评测的开放权重系统中实现了最低的停顿处理接管率，在用户打断后实现了 100\% 的接管率，并获得了 4.33/5 的打断后响应质量评分。在 Full-Duplex-Bench 1.5 上，它在 93\% 的情况下能够在用户附和后继续其响应。NemotronLabs VoiceChat 在 VoiceBench 上取得了 55.1 的归一化平均分；在 Full-Duplex-Bench 3.0（FDB 3.0）上，其工具选择 F1 达到 82.5\%，但参数准确率和端到端工具执行仍有待改进。这些结果表明，全双工交互、语音识别与生成、通用语言能力以及外部工具使用，可以集成到单一的开放式语音到语音模型中，同时不会牺牲实时对话行为。