上下文—回答元模型：在生成首个回答词元之前预测 LLM 激活
Context--Answer Metamodels: Forecasting LLM Activations Before the First Answer Token
精选理由
研究表明，仅凭模型读取提示词时的激活，就能预测后续回答的内部表征与变化，为低成本分析模型行为提供新途径。
AI 摘要
arXiv:2611.06837v1 公告类型：新论文 摘要：在随机解码下，同一个上下文可以使语言模型生成许多不同的回答。刻画这种变化通常需要进行多次成本高昂的自回归生成，每次只能揭示一种实现结果。我们探究：读取上下文时产生的激活能否直接预测模型在后续生成过程中的激活。我们训练了上下文—回答元模型，将上下文激活序列映射为对回答激活均值池化结果的点预测或分布预测。我们发现：(i) 所研究的四类元模型均能高保真地预测回答激活的均值池化结果，分布元模型还能捕捉生成过程中的变异性；(ii) 随着训练集扩展至 500,000 条提示，性能持续提升，且这些元模型能够以零样本方式泛化至域外数据集；(iii) 它们的预测保留了可用于预测行为的信号；(iv) Qwen2.5 的上下文激活能够预测 Qwen3.5 和 Gemma 4 的回答激活均值池化结果，表明激活预测可以跨模型迁移。总体而言，这些结果表明，在首个回答词元生成之前，上下文激活轨迹便可支持对 LLM 回答中的行为进行可扩展的预测。