ViTeX-Bench:高保真视频场景文本编辑基准测试
ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing
精选理由
提供可复现基准与开源模型,推动视频场景文字编辑兼顾准确性、稳定性与局部性。
AI 摘要
近年来,视频生成技术日益逼真且更具可控性,但视频编辑仍相对不够成熟,尤其是在进行精确的局部编辑时,还必须保留原始场景的动态特征。视频场景文本编辑旨在替换场景表面上的文本,例如店面招牌、白板和产品标签上的文字,同时保留周围内容、运动以及相机动态。尽管图像场景文本编辑已得到充分研究,但要同时实现高视觉质量、时间一致性和编辑局部性的视频场景文本编辑,仍缺乏深入探索。现有资源提供的真实视频配对数据有限,而通用视频编辑指标无法直接衡量所请求的文本是否随时间保持正确。我们提出了 ViTeX-Bench,这是一个由 ViTeX-Dataset 和三轴评测协议组成的基准套件。该数据集包含 387 个真实世界的 720p 视频,并配有文本区域掩码和编辑指令:其中 230 个视频提供了经过审核、由处理流程生成的配对编辑结果,用于训练;另外 157 个视频构成固定评测集。该协议通过 13 项指标评估文本正确性、视觉与时间质量以及编辑局部性,每个维度设有一项主要指标,并通过 Pareto 比较分析它们之间的权衡关系。OCR 校准、人工评估和标注敏感性分析为这些分数的解读提供了支持。在来自四类编辑方法的八个基线模型中,要同时实现文本准确性、时间稳定性和场景保真仍然十分困难。我们还发布了 ViTeX-Edit-14B,这是一个开源参考编辑器,基于配对训练集进行微调,并采用运动对齐的字形-视频条件输入。在评测的视频原生编辑器中,它取得了 0.688 的 CharAcc,为最高平均值;在原始编辑器输出中,其可比文本裁剪 Warp 指标最低。ViTeX-Bench 为研究视频场景文本编辑中的这些权衡提供了可复现的基础。