LLMs 能设计视频编码工具吗？以 Planar mode 为例

本文探讨大语言模型（LLMs）是否能够设计视频编码工具；由于工具修改之间存在复杂的算法耦合，这是一项极具挑战性的任务。具体而言，我们针对视频编码标准中长期使用的帕拉模式（Planar mode）开展了一项实证案例研究。我们的实验运行在一个生成-评估循环中：LLM 生成新的 Planar 预测器，编码器试验评估其编码性能，然后 LLM 根据评估反馈重新生成经过改进的实现。我们首先考察在 Fraunhofer Versatile Video Encoder（VVenC）的更快预设下，直接替换默认 Planar mode 的效果。实验结果表明，LLM 生成的模式在这一轻量级工具集上可以优于传统 Planar mode，在标准基准上实现 0.18% 的比特率节省，复杂度仅增加 0.4%。随后，我们将评估扩展到 Enhanced Compression Model（ECM）。利用新引入的方向性 Planar 模式，我们研究了两种集成策略：直接替换它们，以及将 LLM 生成的预测器作为带有新语法元素的额外预测模式引入。实证结果表明，在受限的低分辨率设置下，这两种策略都能带来编码收益。总体而言，本研究提供了初步证据和实践见解，突出了基于 LLM 的编码工具设计的潜力以及尚待解决的挑战。