全模态交互智能体技术报告

本文介绍了 Gander，这是一个端到端模型，在单一框架内统一了全模态感知、实时交互和智能体能力。与基于轮次的传统范式不同，Gander 持续接收包括视频、语音和文本在内的多模态流式输入，从而能够在日常对话和复杂的工作流型智能体场景中实现自然的全双工交互。用户可以随时打断模型，模型也可以主动提供中间反馈或提出后续问题。为原生支持这些能力，Gander 采用了两项关键架构设计：1）采用 Cerebellum-Brain 协作框架，其中 Cerebellum 负责实时交互和全模态对话能力，而 Brain 负责复杂推理和更高层次的智能体任务。两个组件通过工具调用和智能体编排运行时持续交互。2）Cerebellum 构建于流式 Thinker-Talker 架构之上，在分块层面将用户输入和模型输出进一步扁平化为有序 token 流，为低延迟、持续性交互提供统一表示。我们从四个维度对 Gander 进行了全面评估：对话能力、全模态理解能力、交互能力和智能体智能。内部人工评测表明，Gander 在实现具有竞争力的全模态交互性能的同时，保持了 SOTA 开源模型自然且富有表现力的语音对话能力。Gander 在具有挑战性的真实场景中也展现出稳健性，包括背景噪声干扰、多方交互和附和式沟通。我们将 Gander 及其模型、代码和数据一并开源，以促进社区进一步开展研究与开发。