关于基于预填充的解码长度预测的基本极限

仅使用大语言模型（LLM）预填充阶段的隐藏状态来预测其将解码多少个 token，是推理调度的关键基础能力。我们证明，当前基准测试将预测器质量与任务难度混为一谈：当目标模型、数据集或采样配置发生变化时，即使预测器保持不变，报告的准确率也会崩溃。我们将这种不稳定性追溯到一个被忽视的误差来源——自回归解码固有的随机性，并推导出每种预填充侧方法都必须遵守的界限。我们的分析将解码视为一个停止随机过程。响应在每一步的停止概率并非常数，而是在数百个步骤内逐渐升高，因此，解码长度继承了决定响应结束位置的大量局部决策所产生的中心极限定理性质；这为每个提示得出了带有显式误差项的正态性，同时还得到一个仿射方差关系 $σ=αμ+b$，其中斜率是响应片段数量的变异系数。在实证分析中，正态分布能够在几个百分点的误差范围内重现每个提示的 MAE 以及解码长度分布的中心部分；而偏离正态性的残余现象（轻微的右偏和略微过高的峰度）正是采样噪声校正所预测的结果。在模型、数据和采样条件固定的情况下，多种预测器设计（MLP、EGTP、FiLM、soft-label 以及 Mixture-of-Experts 变体）都收敛到接近该界限的相似性能，证实了\emph{系统误差主导模型误差}。我们主张采用一种固定模型、数据和采样参数的基准测试协议，并在报告绝对误差指标的同时报告相对误差指标。代码和分析工具可从 https://github.com/ShwStone/DecodingPredict 获取。