SOMA:使用 System One 模型对 System Two 推理进行持续监控与干预
SOMA: Continuous Monitoring and Intervention for System Two Reasoning with System One Models
精选理由
用轻量模型持续监控并纠偏推理过程,减少过度思考、提升准确率与拒答能力。
AI 摘要
推理模型常常在未察觉的情况下陷入问题,即使这些问题的迹象已经显现在它们自己的文本中。在人类中,元认知将监控与控制分离开来:快速、直觉性的信号持续进行观察,而缓慢、审慎的推理则逐步展开,并帮助决定是继续、改变方向还是停止。System One(S1)决策模型(例如 Jev)是这一角色的自然候选者:它们只需一次快速调用,就能针对有关文本的自然语言问题返回经过校准的概率,但目前仅被用作推理前的门控机制。我们提出 SOMA(System One Metacognitive Awareness),其中 S1 模型持续监控 System Two(S2)推理模型,并在需要时进行干预。SOMA 包含三个层级:场景层使用自然语言描述每个目标,并预先定义相应操作;意识层让 S1 判断所描述的行为是否出现;控制层汇总这些判断,先提醒 S2,只有当该行为持续存在时才接管。在不同任务之间共享一个 S1 模型和一个控制器且无需训练的情况下,SOMA 在两个推理模型上应对了两类不同的失效:对于过度思考,它在提升平均准确率的同时,最多可减少 36\% 的推理 token;对于无法回答的问题,它将拒答率从 70.5\% 提高至 87.2\%。