为 Agentic Reinforcement Learning 构建 MoE 专家选择结构

arXiv:2610.07332v1 公告类型：新 摘要：长时程 LLM agents 通常采用稀疏混合专家（MoE）模型实现，但 agentic 行为与 MoE 结构的协同设计仍缺乏深入研究。在本文中，我们全面研究了 agentic 后训练与 MoE 专家选择之间的联系。在现成的 MoE 模型中，我们观察到专家选择呈现出一种专门化结构，能够自然地与 agentic 轨迹相匹配。具体而言，agent 执行语义相似操作（例如 READ、UPDATE）时，各轮之间的专家路由重叠度高于执行不同操作时的情况。然而，标准 RL 算法忽略了这种专门化特征，使 MoE 路由在训练过程中处于不受控状态，从经验上限制了任务性能和推理效率。为解决这一问题，我们针对 agentic 任务提出了一种分层路由控制框架。我们明确鼓励轮级专家选择与 agentic 操作保持一致，同时对 token 级专家选择进行正则化，以维持局部一致性。为解决采用所提方法进行后训练时出现的稳定性问题，我们进一步引入了一种熵门控控制机制。总体而言，我们的路由控制框架在所有评估基准上的成功率均提升了超过 10 个百分点。这些结果表明，agentic 轨迹结构为在 RL 后训练期间优化 MoE 容量提供了有效信号。