用于上下文强化学习的可证明 Transformer 上下文压缩

arXiv:2610.20004v1 公告类型：新论文 摘要：Transformer 无需更新参数即可执行上下文强化学习。然而，现有理论构造通常要求上下文大小随采样转移数量增长，导致大规模问题中的内存开销不断增加。这引出了一个关于可扩展性的根本问题：执行此类学习究竟需要多少上下文？我们针对固定策略的 TD 评估回答了这一问题。我们证明，在使用共享线性解码器时，精确复现前 $L$ 次 TD 迭代所需的最小上下文维度，等于采样转移所诱导的 Krylov 维度。当可用上下文维度 $m$ 低于这一阈值时，精确复现便不再可能。在此情形下，我们刻画了最优近似误差，并证明其按 $\Theta(\gamma^m\max\{1,1/(m(1-\gamma))\})$ 衰减，其中 $\gamma$ 为折扣因子。从表示复杂度进一步转向实际内存开销，我们将精确连续表示所需的最优保留内存量刻画为 $\Theta(nk_L)$，并通过实验表明：对于一个精确秩为满秩但数值秩较小的采样任务，精度达到 $10^{-2}$ 的上下文比 TD 的稀疏充分统计量小 $88.7\%$。最后，在适当的任务多样性条件下，我们证明了有效注意力参数上的一个辅助目标具有全局收敛性，从而确立了共享执行器可通过预训练习得。在多种 TD 评估问题上的实验验证了参数恢复能力以及所预测的上下文大小与精度之间的权衡关系。