信息在主动推断中带来什么

arXiv:2610.19046v1 公告类型：新论文 摘要：基于信息论的探索是强化学习（RL）和计算认知神经科学方法研究中的重要课题，而现有 RL 理论则基于置信集建立遗憾保证。这使得一个问题仍悬而未决：自然界中存在的信息驱动探索在什么条件下比现有 RL 理论中的探索更具优势。我们将这两种范式的最先进方法——主动推断（AIF）和 Bayes-UCBVI——置于同等条件下：二者均通过具有 $S$ 个状态的表格型 MDP 的同一状态抽象采取行动，且其贪心形式仅在探索项上有所不同。我们发现，AIF 的信息增益衰减过快，无法充当置信宽度，导致依靠该信息增益进行探索的贪心智能体无法选择最优动作。通过取平方根来校准信息增益，可得到校准后的 AIF；在抽象精确的情况下，该方法可达到 $\sqrt T$ 量级的遗憾，但对于固定奖励，其保证并不优于 Bayes-UCBVI。当对手根据智能体的数据选择奖励时，Bayes-UCBVI 针对价值的置信宽度会导致最优动作被排除，而校准后的 AIF 则付出 $\sqrt S$ 的额外因子代价；在某些起始状态同样由对手选择的 MDP 上，任何不保留目标记忆的智能体都无法避免这一代价。因此，校准后的信息增益相当于一个与奖励无关的 $\ell_1$ 置信集：当奖励根据智能体的数据选择时，它优于针对价值的置信宽度；当奖励固定时，则并非如此。