T-Router：利用参数高效强化学习学习用于推理的丘脑路由
T-Router: Learning Thalamic Routing for Reasoning with Parameter-Efficient Reinforcement Learning
精选理由
提出高效可控的推理增强方法，以极少参数显著提升数学与工具调用能力。
AI 摘要
参数高效强化学习旨在通过为预训练模型配备紧凑的可训练接口来提升推理能力。我们提出丘脑路由器（T-Router），将适应过程集中于对已完成计算的复用。一个经过压缩且可寻址的存储库保留块变化；一个沿深度递归的控制器根据上下文决定对这些变化的选择及其相对尺度回写。这种耦合为丘脑式的依赖上下文路由赋予了具体的计算形式：学习接收层使用哪些更早的贡献，以及以多大影响力使用它们。正确性奖励用于训练该接口，同时保持骨干模型参数和层顺序不变。在一个拥有 8.95B 参数的骨干模型上，T-Router 分配了 41.73M 个参数（占骨干模型的 0.466%），在 GSM8K 强化学习后取得了 83.64 +/- 1.16 的 MathAvg；相比之下，在三轮评估中，全参数 GRPO 的结果为 73.79 +/- 1.83。在参数预算相当且重试次数匹配的情况下，它超过了 LoRA 的 77.28 +/- 1.95 MathAvg，在全部三个任务系列上均有所提升，并将 AIME 平均准确率从 48.33 提高到 60.56。容量受控的比较表明，可寻址的块变化和递归上下文更具优势；独立的搜索训练则将该接口扩展到了工具介导的推理。这些结果表明，受控的计算复用是实现参数高效推理强化学习的有效途径。