共享并不足够：掩码潜变量预测下的预测器宽度与因子可读性
Shared Is Not Enough: Predictor Width and Factor Readability Under Masked Latent Prediction
精选理由
揭示预测器宽度影响因子可读性的机制，助力掩码表征模型设计与评估。
AI 摘要
arXiv:2610.32562v1 公告类型：新 摘要：I-JEPA 等掩码潜变量预测方法旨在学习可预测的特征，但决定它们保留哪些信息的因素尚不明确。我们构建了一个模拟器，其中图像背后的每个因子都是已知的，因此可以使用探针测量训练后每个因子的可读性。我们使用相同的视图对，分别采用 I-JEPA、SimCLR 和 BYOL 训练了小型编码器（0.7M 个参数），并对两个视图共有的一个因子进行了探测。I-JEPA 的预测器在宽度和深度上均为编码器的一半，这是其在 ViT-B 中采用的比例。其得分中位数约为 SimCLR 的 40%。将预测器的宽度扩展至与编码器相同后，这一排序在每个训练随机种子下都发生了逆转，优于另外两种方法。我们发布了该模拟器和训练好的模型。