Logbook：超长音频事件理解

arXiv:2610.07338v1 公告类型：cross 摘要：音频基准通常围绕短的、预先分段的片段构建，这使模型设计受限于短输入或固定词汇表。为弥合这一差距，我们引入了 Logbook，这是一个面向小时级音频理解的基准，录音时长从十分钟到六天不等。给定一段连续音频录音和一个事件标签词汇表，系统必须生成无间断的分段结果，并为每个片段预测一个事件标签和一段描述。我们比较了 52 个系统，包括端到端系统和级联系统，并对微调、上下文长度和推理预算进行了消融实验。我们发现，该任务是可处理的，但最佳系统的表现仍低于人类参考水平。此外，过度分段现象十分普遍，而微调能够部分缓解这一问题。最后，端到端系统通常优于级联系统，但其性能会随着上下文变长而下降。