为什么幽灵输出能够促成学习：对潜意识学习的基于核的理解

潜意识学习（SL）是一种最近发现的现象：学生模型通过匹配教师模型看似无关的辅助输出，获得下游任务能力，尽管它从未观察到任务标签、特定于任务的输出或原始训练数据。尽管近期研究已经确定了潜意识信号可能存在的位置，但这一现象背后的优化机制仍缺乏充分理解。在本文中，我们从学习动态的角度出发，对SL进行了机制层面的阐释。具体而言，我们推导出一种链式跨任务核，通过共享的骨干表示，明确建立幽灵输出监督与任务预测变化之间的联系。我们的统一分析框架为SL中的三个核心经验性难题提供了严格的数学解释：（i）在共享初始化的条件下，迁移算子形成严格的半正定（PSD）结构，从而保证幽灵输出优化能够使学生模型与教师模型的真实任务目标对齐，而无需显式接触标签；（ii）幽灵输出的维度充当一个明确的秩瓶颈，决定与任务相关特征的迁移；（iii）合成的高熵输入充当宽带探针，能够最大化跨任务核重叠，从而解释了为什么对于潜意识迁移，随机噪声始终优于结构化数据。在经典的幽灵输出设置上进行的实验验证了这三项理论预测，为幽灵输出监督如何产生潜意识学习提供了首个基于学习动态的理论解释。