arXiv cs.AI精选79

Harness-Zero:通过 Agent-as-Harness 进行智能体框架蒸馏

Harness-Zero: Harness Distillation via Agent-as-Harness

· 22天前

精选理由

将专用智能体工具链的优势蒸馏进模型,部署时无需复杂工具仍能显著提升任务成功率。

AI 摘要

智能体框架是介导模型与环境交互的外部系统,能够显著提升智能体性能,但其增益仍然依赖于部署时所使用的框架。由于最优框架会因领域、实例和模型而异,通用智能体要么只能接受一个次优的共享框架,要么就在不断增长的专业化框架集合中进行选择。因此,我们研究智能体框架蒸馏:将针对领域或实例优化的框架作为训练阶段的引导,并将其诱导出的行为迁移到模型权重中,从而使这些增益能够在单一固定的目标框架下继续保留。其挑战在于,两个框架的动作空间和可用信息并不相同,因此优化框架提供的引导无法直接作为目标框架的监督信号。我们提出 Harness-Zero,通过 Agent-as-Harness 实现智能体框架蒸馏。在优化框架的引导下,一个充当框架的智能体会在目标框架的动作空间中、执行之前纠正学生的响应,将框架引导转化为训练示例。基于所得轨迹进行微调,可以将框架诱导的行为内化到模型中,从而在部署时移除专业化框架。涵盖知识工作、工具使用和科学领域的实验表明:(1)对于使用同一经过演化的框架的前沿 LLM,Agent-as-Harness 的表现优于 code-as-harness。(2)在部署时移除专业化框架后,Harness-Zero 将基础模型的任务成功率宏平均值从 23.3% 提升至 44.3%,甚至超过仍附加该框架时达到的 41.7%。(3)Harness-Zero 能够恢复基础模型中缺失的框架诱导行为,在三个领域的 28 种行为模式上实现了 82.3% 的平均恢复率。

查看原文(arXiv cs.AI)