arXiv cs.AI精选77

学习何时人类决策至关重要:面向 LLM 智能体的执行器相对咨询价值

Learning When Human Decisions Matter: Executor-Relative Consultation Value for LLM Agents

· 1天前

精选理由

提出按执行模型估算咨询价值、在有限预算下挑选关键节点求助人的方法,提升人机协作效率并节省部署成本。

AI 摘要

大语言模型正日益实现复杂任务的自动化,但人类的决策能力并未随模型能力的提升而同步扩展。在许多应用中,人类仍不可或缺,因为他们能够提供智能体无法获得的私有背景信息、授权或判断。我们将这一问题形式化为人类决策能力分配问题:给定多个咨询机会和有限预算,LLM 智能体应在哪些决策环节咨询人类?核心挑战在于估计咨询价值,而这一价值取决于执行器,因为同样的人类输入可能给不同的下游智能体带来不同程度的收益。我们提出 Consultation Value Distillation(CVD),通过蒙特卡洛执行器轨迹采样离线估计咨询价值,并将这些价值蒸馏到轻量级预测器中,用于预算约束下的分配,无需在部署时通过轨迹采样估计价值。在使用两个前沿执行器的五种批量设置和三种序贯设置中,CVD 通过联合价值学习和考虑后续执行的价值学习改善了分配效果,而独立咨询价值在若干设置中仍具有竞争力。CVD 还在适用场景下普遍优于直接提示和信息价值方法,在大幅减少轨迹监督数据的情况下仍保持稳健,并能以较低的搜索成本实现几乎无损的近似分配。

查看原文(arXiv cs.AI)