码率约束下的最优多任务表示：信息瓶颈分析
Optimal Multitask Representations Under a Rate Constraint: An Information Bottleneck Analysis
精选理由
揭示压缩预算如何改变多任务表示的最优预训练目标，帮助理解并权衡下游任务性能。
AI 摘要
arXiv:2610.30493v1 公告类型：新论文 摘要：在信息预算约束下，哪种预训练目标能为下游任务产生最佳表示？我们将这一问题形式化为多任务信息瓶颈，使用互信息约束来建模不完全的信息保留。对于高斯输入和任务，我们刻画了最优表示，并表明：与任务弱对齐的专用模型在低码率下可能优于以重建为目标的通用模型，但在高码率下则可能落后。我们还构造了一些任务族，其中最优分配优先级的反转会使任意固定的高斯预测目标产生任意大的相对遗憾。相反，平均任务信息矩阵所定义的目标具有由最大任务信噪比控制的统一相对遗憾界。CelebA 和 dSprites 上的实验表明，压缩可能改变表现最佳的预训练目标；即使采用任务感知训练，随着码率增加，保留得更好的下游任务也可能发生反转。