长时程 LLM 智能体的多尺度策略优化
Multiscale Policy Optimization for Long-Horizon LLM Agents
精选理由
提出多尺度策略优化，提升长程LLM智能体的决策与工具使用能力
AI 摘要
长时程 LLM 智能体通过完整的助手轮次与环境交互，同时以逐个生成动作 token 的方式生成每个动作。我们观察到，critic 值主要在不同轮次之间变化，这促使我们以轮次为优化锚点，并在 token 之间进行更细粒度的信用分配。我们提出 Multiscale Policy Optimization（MPO），将 Multiscale Advantage Estimation（MAE）与轮次级重要性采样相结合，使信用分配与策略更新在轮次尺度上保持一致。在使用 4B 和 30B-A3B 模型开展的搜索、工具使用和自动化任务的大量实验中，MPO 相较于强大的 RL 基线均取得了稳定提升。