预测闭包：JEPA 特征选择的集合级刻画

arXiv:2610.27364v1 公告类型：new 摘要：在联合嵌入预测架构（JEPA）中，编码器和预测器共同训练，以生成一种表示，使其对下一次观测表示的预测误差最小。由于当前观测和下一次观测的表示都是学习得到的，因此尚不清楚它们会包含哪些特征。早期的刻画从各个特征自身的可预测性出发，描述 JEPA 所选择的特征，这引发了一种担忧：不可预测的特征（如交通信号灯）可能不会被编码进表示中。然而，预测误差还会受到特征之间关系的影响，例如，信号灯的颜色有助于预测交通是否会停止。我们提出了预测闭包刻画，以纳入这些关系。基于对 JEPA 训练目标的重新表述，我们表明，特征选择取决于特征集合的性质。当特征彼此独立地演化时，这一观点与早期研究一致；而当特征并非如此时，它会作出新的预测，例如，像交通信号灯这样的特征仍然可以被保留。我们在受控实验中检验了这一刻画，结果表明：当不可预测的特征有助于预测其他特征时，它们可以得到更好的表示；改变某个特征的预测关系，也会影响其他特征的表示效果。我们还展示了其对引导特征选择的启示：针对某个特征设置辅助目标，或将其作为侧信息提供给预测器，可以增强另一个特征的表示，而后者的未来取值正是前者有助于预测的对象，因此这种引导可以是间接的。