LS-AR：自回归 LLM 中的未来预测潜在引导

arXiv:2610.03093v1 发布类型：new 摘要：标准自回归（AR）模型将高层任务指令、状态历史和瞬时 token 置于同一共享 token 序列中处理。因此，它们缺乏将宏观目标与上下文噪声隔离开来的架构机制。为克服这种单通道局限，我们提出 Latent-Steered Autoregressive（LS-AR），一种通过 FiLM 条件化将连续目标引导与离散 token 解码解耦的双通道架构。我们评估了用于在长时段 rollout 中持续保留宏观目标的 Static Goal Encoder（P_0），以及用于生成过程中的循环潜变量更新的 Dynamic State Tracker（P_t）。在超出上下文限制的长时域检索任务中（H=1024，W=500），LS-AR（Static）的目标召回率达到 100%，而参数量匹配的基线模型降至 0%；同时吞吐量提升约 35%，峰值 VRAM 降低 52.8%。在强制扰动（k=1）下的 Blocksworld 规划任务中，LS-AR（Dynamic）的完成率保持在 89.0%，而基线模型为 71.0%；不过，零样本实体扩展（N -> N+1）暴露出单向量容量的限制（0%）。最后，双通道权威性分析表明，文本目标丢弃能够确立潜变量主导的控制方式，为抵御文本提示注入提供结构性防御，但同时也引入了潜向量攻击面。