从修订后果中学习：面向自我改进智能体的事后元经验蒸馏

随着智能体通过生成和修订技能而持续改进，发现和完善这些技能的过程本身也成为一种可学习的对象。任务技能直接作用于任务执行，而元技能则决定智能体如何发现并改进未来的技能；因此，元技能的价值会通过其引发的后续搜索过程体现出来。现有方法根据观测到的原始技能搜索轨迹和分支结果来改进元技能。然而，分支表现同时受到初始发现状态和产生该搜索过程的元技能修订的影响，因此难以刻画某次具体修订究竟改变了什么，也使更新倾向于选择受益于有利状态的修订，而非真正改进过程的修订。我们提出 HMED（事后元经验蒸馏），一种为自我改进智能体构建元经验的机制。HMED 回溯修订所源自的已完成事件，并从同一恢复后的发现状态重新执行当前版本和修订后的元技能，从而能够在共享条件下观察与修订相关的变化。每次比较都会被蒸馏为一条元经验，即一种可供未来更新复用的结构化记录，因此，即使最终未被保留的修订也能提供学习信号。在三个交互式智能体基准以及开源和闭源模型上，HMED 相较于强基线方法持续提升技能发现性能，使元技能学习不再局限于分支结果，而是进一步关注改变改进过程所带来的后果。