从不确定性到行动：学习引导 LLM 智能体

arXiv:2610.09115v1 公告类型：交叉收录 摘要：引导 LLM 智能体意味着决定是否纠正它、在哪一步纠正，以及采用哪种机制。不确定性常被用于决定何时纠正智能体，但它能否指导这些决策仍不明确。我们在每个非终止步骤分别采用四种机制中的每一种来引导智能体轨迹，并将每次后续执行运行至结束。由此得到的逐步结果表（SOT）包含来自三个基准测试、两个智能体的 1,864 条轨迹的约 82,000 次反事实后续执行。结果表明，不确定性能够识别会失败的轨迹，但没有任何单一信号能够可靠地定位引导会产生帮助的步骤。因此，我们提出 VoS（Value of Steering），一种可离线或在线使用的轨迹级监控器，它从 SOT 中学习每一步的引导价值，并据此决定在哪里进行引导。一个受损害预算约束的触发器负责决定是否进行引导，以限制 VoS 干扰成功轨迹的比例。在由基准测试、智能体以及离线或在线使用方式构成的全部 12 种设置中，VoS 相比未经干预的执行平均提升了 7.8 个百分点；在其中 11 种设置中，VoS 超过了五种现有不确定性触发方法中表现最强的方法，平均提升了 2.9 个百分点。消融实验表明，基于实测结果进行训练和采用严格的损害预算都至关重要。