使用 Instance Based Learning Theory 的 Energy Based Models 中的元认知推理

arXiv:2610.00399v1 公告类型：new 摘要：元认知涉及对认知过程本身进行推理。例如，在资源分配中，我们会根据自己的信心，在开始一项推理任务之前选择投入多少时间和精力。当前依赖 Large Language Models（LLMs）的 Artificial Intelligence（AI）系统无法在生成输出之前估计自身对该输出的不确定性，也无法动态分配用于生成输出的资源，这使得这类元认知过程难以实现。近期提出的一种替代经典 transformer 架构的方法，即 Energy Based Model（EBM），能够实现可解释的不确定性建模和计算资源的动态分配。虽然 EBM 可以实现对这两个过程的控制，但根据不确定性确定计算资源分配这一实际的元认知任务尚未得到直接解决。Instance-Based Learning Theory（IBLT）提供了一种基于经验对类人决策进行建模的方法，此前已被用于预测人类的元认知推理。本文提出了一个结合 Instance-Based Learning Theory 与能量动态的元认知推理框架 MEtacognitive Reasoning with Instance-based Learning Theory and Energy Dynamics（MERITED）。该框架以 IBLT 为基础，能够控制分配给 EBM 的计算量，从而根据不确定性对推理投入进行元认知控制，同时保持计算效率。本文有两项主要贡献：训练并开放共享一个拥有 191M 个参数的推理 EBM，以及使用 IBL 模型实现 MERITED 框架以进行动态计算分配。