Kierston & KierstonBench：Allentown, PA 的仿真以及语言模型在犯罪调查和监控任务中的评估

大型语言模型有望用于收集和分析刑事调查与大规模监控中的记录。目前还无法衡量它们在这类工作中的能力和准确性。现实部署缺乏对模型结论进行评分所需的真实答案，也没有任何基准在仿真环境中评估这些能力。我们推出了 Kierston（一款城市规模的仿真引擎）和 KierstonBench（一项针对已知仿真事件测试这些能力的基准）。Kierston 对 Pennsylvania 州 Allentown 约 125,000 名居民进行建模，生成他们的日常活动，以及监控和调查系统收集的有关他们的电信、金融、行政和车牌记录。这些记录源自一条共同的行为时间线，并分布在代表不同服务提供商的数据源中。模型通过受限的记录接口开展调查，在无法访问底层仿真的情况下关联不同数据源中的观察结果。该基准包含 32 类任务，涵盖记录关联、日常活动重建、事件调查以及对欺骗性陈述的评估。在对 16 个语言模型的评估中，大多数模型无法开展记录调查，并提交了记录不支持的身份识别结果。少数前沿模型解决了大多数任务，并在证据不足时选择弃权。在某些情况下，这些模型仍会落入常见的欺骗和假设陷阱，而且没有任何模型能够取代调查人员。