知识还是计算器?可验证金融代理工作流中的技能溢价分解
Knowledge or Calculator? Decomposing the Skill Premium in Verifiable Financial Agent Workflows
精选理由
揭示金融智能体能力提升主要来自工具与流程资源,为评测和系统设计提供依据。
AI 摘要
金融 AI 代理必须做到的不只是检索事实:投资工作流要求正确执行定量操作、可靠使用程序性资源,以及生成可审计的结构化输出。我们推出 FinSkillBench,这是一个评测套件,涵盖投资组合构建、风险管理和基本面分析中的 12 个子任务,共包含 2,603 个时点情境,并配备隐藏的可再生成真实值和针对任务的确定性验证器。在 9 个模型和 3 种资源条件下执行 17,820 个情境后,对其中 8 个模型进行配对分析显示,经过整理的技能包可将平均得分提高 16.2 个百分点(从 0.366 提升至 0.528);相比之下,在单个情境内生成的技能仅提高 0.5 个百分点,同时消耗更多 token 和交互轮次。随后,我们通过分别提供人工编写的程序性文档和可执行领域工具,分解经过整理的技能溢价:仅提供文档可提高 5.6 个百分点,仅提供工具可提高 19.5 个百分点,而二者结合的提升低于二者单独提升之和。该溢价高度依赖工作流:可执行工具在数值密集型工作流中占主导地位;当程序指导或输出模式指导成为瓶颈时,文档的作用更为重要;解释性任务则同时受益于二者。在 10 种评分变体和聚类自助法分析中,这些效应的方向均保持稳定;一个独立实现的第二套测试框架也复现了这一方向性模式,同时表明效应大小取决于工具和数据的呈现方式。总体而言,经测量的“技能溢价”是完整的模型、资源与测试框架系统的属性,而非底层模型单独具备的属性。