学会决策，而非推理：通过低秩激活引导实现参数高效的决策算子

arXiv:2610.06950v1 公告类型：新增 摘要：当前，将技能注入冻结语言模型需要付出百万级参数和一套强化学习流程的成本。我们提出 \method{}，一种通过行为克隆训练的 System-1 决策算子，将这一成本降低了约两个数量级。默认算子仅使用 330K 个参数，却能够达到使用 1.33M 个参数、通过强化学习训练的算子的水平，并且性能更高或相当；同时，它将 3,685 个 token 的思考过程压缩为 6 个 token 的决策，且准确率不受损失。一个拥有 23K 个参数的 rank-4 变体，其参数量仅为已发表的最强技能算子的 1/58，足以应对 SearchQA，并基本足以应对 LiveMath（在后者中，更高的秩仍有帮助）；同一方案可迁移到五项任务和三个骨干模型上，并且在训练数月后发布的 LiveMath 题目上，分布外增益仍然存在。与先前工作的差距在于可训练性，而可训练性由初始化和架构共同决定：先前算子的初始化会使两个大型因子矩阵在第一次优化步骤中的梯度都归零，而我们在共享低秩骨干网络中采用零初始化的输出投影，该投影能够立即接收到梯度，梯度流探针直接验证了这一点。性能提升并非来自思维链压缩：在 57 道 LiveMath 题目中，有 23 道的结果优于基础模型的 best-of-8 采样；logit-lens 探针表明，该算子是在模型已有的后层路径上放大答案，而不是更早地写出答案。在 13 个基础模型—任务组合中，性能增益与基础模型的提升空间相一致；不同技能可以组合成近似线性的算子，并可在推理时进行相加、插值和热切换。代码地址：https://github.com/rlisml/decisionsteer。