注意间隙（MTG-AD）：用于端到端内嵌式音频描述的数据集和细粒度评估

音频描述（AD）对于让视觉媒体对盲人及低视力（BLV）用户 accessible 至关重要。尽管多模态大语言模型（MLLM）为按需生成音频描述提供了可扩展的解决方案，但其在“内嵌式”音频描述方面的表现仍缺乏充分研究——这类音频描述必须适配视频中现有的静音片段，尤其是在多样化的用户生成内容（UGC）中。我们对由 MLLM 生成的内嵌式音频描述展开了全面研究。首先，我们推出 MTG-AD，这是一个由专业人士标注的数据集，包含 36 小时视频，每段视频平均约 5 分钟，总计 8000 多条描述；该数据集由成对的盲人和明眼音频描述专业人士共同创作，为这一任务提供了高质量基准。其次，我们提出 MTG-AD-Eval，这是一套基于音频描述专家指南的评估框架，可提供细粒度、无需参考答案且能够指导模型改进的指标。重要的是，我们的框架评估的是端到端任务：将生成的脚本渲染为音轨，以评估其是否适合嵌入原视频的自然静音片段，并尽量减少干扰性的重叠。我们对前沿 MLLM 的分析表明，尽管模型能够准确描述视觉事件，并显著减少与语音的重叠，但在叙事节奏和连贯流畅性方面仍存在不足。最后，我们通过实验证实，自动化且无需参考答案的指标与明眼评审者和 7 名 BLV 参与者给出的人工质量评分具有显著相关性；虽然用户略微偏好人类撰写的音频描述，但他们认为 MLLM 生成的音频描述对理解内容非常有帮助。我们提供了可执行的系统设计指导，并发布了 MTG-AD：https://hf.co/datasets/google/mind-the-gap-inline-ad，以及 MTG-AD-Eval：https://github.com/google/mtg-ad。