SCB：用于评估语音到语音模型多轮推理能力的 SpeechConversationBench

语音到语音系统必须解决其要求在多轮对话中逐步显现的任务。我们推出 SpeechConversationBench（SCB），这是一个专门用于评估口语数学推理能力的基准，采用了 103 道经过分片处理的 GSM8K 题目。该框架比较三种条件：以单轮形式提供完整原题（full）、将所有信息分片拼接后一次性提供（concat），以及在多轮对话中逐步以语音披露信息（sharded）。我们报告了四种商业语音系统和 LEGO 在最终答案准确率方面的表现；LEGO 是由 SCBX Innovation Lab 团队内部开发的专有语音流水线，具备显式的对话上下文管理能力。与 concat 相比，四种商业系统在 sharded 条件下的准确率下降了 5.0 至 25.3 个百分点。LEGO 在三种条件下均达到 77.5% 的准确率，而 GPT-4o Realtime 在 sharded 条件下的准确率为 76.6%。这两个单轮基线有助于区分模型对问题重新表述的敏感性，以及增量式语音交互所带来的额外挑战。