Select-TTT：面向查询条件的选择性快速权重更新，用于原位测试时训练

测试时训练（TTT）使部署后的语言模型能够即时将输入上下文内化到一小组快速权重参数中，而不只是将其作为注意力机制的临时上下文。In-Place TTT 最近通过重新利用标准 MLP 模块的下投影作为快速权重，使这一想法在大型语言模型上变得切实可行。然而，我们发现，在真实的网页长上下文问答任务中，其优势基本消失了。我们将此归因于 In-Place TTT 的统一写入机制：每个文本块都以相同强度写入，因此无关内容会稀释快速权重记忆中与查询相关的信息。基于这一观察，我们提出 Select-TTT，这是一种与模型无关、以查询为条件的 In-Place TTT 规则，可根据每个文本块与用户查询的相关性，对其写入强度进行缩放。该相关性信号无需监督，也无需新增参数：它直接从模型冻结的输出头中读取，即一个文本块的隐藏状态分配给查询词元的概率质量。经过温度缩放的 softmax 会将这些分数转换为学习率乘数，同时保持 In-Place TTT 按文本块进行上下文并行计算的特性不变。Select-TTT 在两个基准和两个骨干模型上的长上下文问答任务中均取得了稳定提升。这些发现凸显了面向查询条件的快速权重写入对于长上下文问答中实用测试时训练的价值；对于涉及多个用户查询且上下文不断演化的长时程智能体任务，这一方法也具有潜在前景。