arXiv cs.AI精选80

自由生成,谨慎行动:用于递归 LLM-Agent 树的渐进式风险归属

Spawn Freely, Act Sparingly: Progressive Risk Vesting for Recursive LLM-Agent Trees

· 42天前

精选理由

为递归LLM代理提供可证风险预算与授权策略

AI 摘要

递归 LLM 代理可以通过生成专门分支来扩展其搜索。一些分支随后会请求发送数据或部署代码的工具。一个分支应在何时获得行动权限?我们区分沙箱式生成,在这种情况下外部控制会阻止所指定的损害;以及能力激活,在这种情况下,被选中的分支跨过不可逆行动边界。渐进式风险归属(PRV)将轨迹级风险预算作为托管资金保留,并在分支被激活时进行扣减。我们证明了适应性生成树的任意时刻损害上界。分支结果可能彼此依赖,但每个局部证书都需要在完整的激活前历史条件下保持有效,包括用于选择请求的信息。当激活门、分支计费和计算约束保持固定时,延迟归属保留了在不可撤销的生成计费下可用的每一种策略。边际风险估计在分支选择后仍可能失效。在一个风格化的分支模型中,随着授权再生产数 $\mathcal{R}_A$ 穿越 1,轨迹损害发生变化。当局部风险 $p$ 逼近 0 时,轨迹损害在临界点以下与 $p$ 成正比,在临界点处与 $\sqrt{p}$ 成正比,在临界点以上则保留一个正下界。一个有限类型占用模型给出了风险和计算的影子价格。对于每单位风险的边际价值递减的嵌套扇出模式,这些价格产生一个阈值规则。分支计算和一个分样本实验展示了这些结果。这些合成研究并未估计已部署代理的安全性。该分析提出了一条设计规则:在沙箱中广泛搜索,并谨慎授予递归权限,同时设置明确的风险收费。

查看原文(arXiv cs.AI)