VoiceMem:用于实时交互的流式双脑记忆
VoiceMem: Streaming Dual-Brain Memory for Real-Time Interaction
精选理由
为实时语音对话提供低延迟、可个性化的情感记忆方案。
AI 摘要
对话系统,例如双工语音语言模型(SLMs),至今仍缺乏一个作为“灵魂”的流式、准确且具备共情能力的记忆系统。我们提出 VoiceMem,一种简单的记忆架构,包含并行的信息型左脑、情感型右脑,以及流式记忆 I/O 机制。我们进一步构建了一个完整流程,用于面向记忆感知的 SLM 训练、长时程评测,以及支持可互换记忆后端的解耦部署。实验和真实世界部署表明其有三大优势:i) 准确性:在 top-5 检索下,左脑在 top-200 上的表现比 Mem0 等经典系统高出近 30 分;ii) 情感与个性:右脑结合短期和长期情感归因以及双节点人格建模,在三个 persona 基准上取得了最先进的表现,并使总分比此前最佳系统提升 4.29 分;iii) 实时性与低成本:VoiceMem 的检索耗时为 134 ms,完全处于标准 VAD 延迟范围内,在保持高准确率和低成本的同时,不会额外增加对话延迟。这些结果表明,VoiceMem 为实时、个性化且具有情感感知的语音交互提供了一个实用的记忆基础。