FinancialAuditBench：使用真实世界先验在差分隐私下构建基准

随着 AI 代理在金融服务行业中被广泛采用，谨慎的测量对于理解它们可以在哪些场景中可靠部署，以及在哪些场景中仍需要监督和专业审查至关重要。然而，此类测量受到对专有数据或隐私敏感数据访问受限的制约。因此，现有基准通常依赖公开可用的数据、由人类和/或 LLM 编写的任务，或简化的设置。我们介绍 FinancialAuditBench，这是一个用于评估代理在财务报表审计任务中表现的基准，并提出一个用于系统生成合成业务项目的框架。我们的任务生成框架利用来自历史审计的差分隐私聚合统计信息，以及通过超过 1,100 小时的基准开发和审查所贡献的审计专业知识。FinancialAuditBench 包含 90 个任务，涵盖六个合成审计业务项目中的工作底稿完成与审查，每个项目平均包含 179 个文件。对十一个前沿模型的评估表明，虽然代理能够很好地完成相当一部分员工级审计任务，但它们有时会执行不恰当的程序或生成不正确的文档。除财务审计之外，我们的框架还为在隐私敏感领域中系统生成用于模型评估和训练的合成任务提供了一种方法。