SanSi：用于系统 1.5 思维的循环式类型化决策模型

arXiv:2610.07730v1 公告类型：交叉收录 摘要：类型化决策模型无需生成文本即可回答预先声明的问题：决策头通过一次前向传播，为每个预先声明的选项返回一个概率。单次前向传播是一种快速、直觉式的系统 1 思维。我们研究介于单次前向传播与生成式推理之间的方式：循环，即在进行一次类型化读出之前，递归地多次应用相同的层。每次循环都让模型在确定答案前修正其隐藏状态，而无需生成任何词元；我们将其称为系统 1.5 思维。我们提出 SanSi，将预训练的循环式语言模型转化为类型化决策模型。每次循环结束后都会读出选项概率，并使用适当评分规则训练每次循环，使同一个模型在单次运行中即可满足从一次到八次循环的各种计算预算。在来自 59 个来源的 10,027 个测试决策上，SanSi 的准确率达到 72.0%：比采用相同训练方案、具有相同架构的非循环模型高出 13.5 个百分点，比同等规模的更新非循环模型高出 5.3 个百分点，比参数量为其三倍的模型低 1.8 个百分点。在两项深度可控的任务中，循环将可求解深度扩展到训练中所见深度之外，而更大的单次前向传播模型在这些深度上未能成功。在没有标准答案的情况下，将 SanSi 用作强化学习策略优化的评判模型，可使生成器的 F1 提高 7.7 个百分点。