CivicBench：面向基于 Web 的城市公共事务数据分析的基准与记忆框架

市政当局通过各自独立维护的 Web 门户发布服务请求、地理边界、天气观测、人口统计估计和运营指导。城市公共事务分析必须整合这些来源，同时保留其数据模式、来源链接、时空范围及解读限制。使用工具的语言智能体能够完成这种整合，但现有任务基准很少检验计算得出的论断是否仍有其所用记录的支持。我们提出 CivicBench，这是一个涵盖四座城市、两年时间跨度、共 400 项任务的基准，将城市公共事务 Web 数据物化为冻结数据包，以实现可复现的评估。可执行契约对计算、来源关联、覆盖度、范围、附带限定条件的回答，以及在所请求结论缺乏支持时的拒答进行评分。我们还引入 Task-State Memory（TSM），将工具观测编译为带类型的断言，仅在范围兼容的情况下协调记录，并检索围绕尚未解决的约束组织的有界状态。在九组已完成评估的模型配对中，八组的平均得分差为正，且按语义契约聚类进行自助法估计所得的 95% 区间均不包含零；第九组的区间跨越零。该基准与记忆框架使论断背后的记录能够在决策时接受检查。