在原始视频上对语言模型进行中期训练

arXiv:2610.11019v1 公告类型：cross 摘要：多模态大语言模型主要从图文配对数据或带注释的视频中学习，而原始网络视频很少被用于进一步训练现有语言模型。我们研究了没有字幕且不使用文本损失的原始视频，能否作为预训练语言模型的中期训练数据。我们将视频帧编码为连续视觉标记，并让语言模型学习预测下一个视觉标记。我们使用来自 YT-Temporal-1B 的原始视频片段对 Qwen3-1.7B 进行中期训练，随后对该模型和未经中期训练的模型采用相同的图像-文本指令微调，使两者仅在中期训练环节存在差异。经过中期训练的模型在四项视频基准测试中的平均得分高出 2.9 分，在十项图像基准测试中的平均得分高出 5.1 分，涵盖感知、文档和图表任务。尽管中期训练不包含文本，文本性能仍得以保持：在 14 项文本基准测试中，平均得分为 48.9，而未经中期训练的模型为 48.0。训练过程分析表明，图像和视频方面的提升在训练进度达到 30% 以内时便已显现，此后趋于平台期，变化幅度小于 0.5 分。预测字幕并未优于预测下一个视觉标记，这表明视频中期训练可以完全保持自监督形式，无需承担自动字幕生成带来的计算开销或标注噪声。