最小见证强化学习

arXiv:2610.07226v1 公告类型：新 摘要：“产生某种结果所需的不可约条件是什么？”这是计算与科学领域反复出现的最常见问题之一。其答案，即最小充分见证，正是我们所谓的解释、机制和理由。这类问题通常要求找出多个最小见证，但标准强化学习方法可能只能发现一个解，或发现彼此冗余的解。我们将这一问题形式化为最小见证识别，并提出 Minimal-Witness Reinforcement Learning（MWRL）。MWRL 取策略采样的成功提议所认证集合的并集，并根据在缺少某个提议时该群体并集会损失的覆盖范围，为每个提议分配贡献。这种直接源于问题定义的信用分配方式，仅凭黑盒验证器返回的单个位，就统一满足了最小性和找回备选方案的要求。在此原则下，我们推导出一种能够找回完整见证族的价值迭代规划器，以及一种可扩展到大型语言模型的策略梯度方法。在不同实验设置下，MWRL 能找回大多数最小见证，而其他方法则返回冗余的超集或单个见证。通过使见证族能够从验证器反馈中学习，MWRL 将强化学习的适用范围从单一解优化扩展到了更广泛的领域。我们的代码可在 https://github.com/TSUITUENYUE/MWRL 获取。