上下文—回答元模型：在生成首个回答词元之前预测 LLM 激活

在随机解码下，同一个上下文可以引发语言模型生成许多不同的回答。刻画这种变化通常需要进行大量成本高昂的自回归生成，每次生成仅呈现一种实现结果。我们探究：模型在读取上下文时产生的激活，能否直接预测其生成过程中的激活。我们训练了上下文—回答元模型，将上下文激活序列映射为对平均池化后的回答激活的点预测或分布预测。我们发现：（i）所研究的四类元模型均能高保真地预测平均池化后的回答激活，且分布元模型还能捕捉生成过程中的变异性；（ii）随着训练集扩大至 500,000 条提示，性能持续提升，且这些元模型能够以零样本方式泛化至域外数据集；（iii）其预测保留了可用于预测行为的信号；（iv）Qwen2.5 的上下文激活能够预测 Qwen3.5 和 Gemma 4 的平均池化回答激活，表明激活预测能够跨模型迁移。综合来看，这些结果表明，上下文激活轨迹能够支持在首个回答词元生成之前，以可扩展的方式预测 LLM 回答中的行为。