CorporateBench：基于时序知识库的大规模问答基准测试

LLMs 越来越能够回答关于企业级文档集合的复杂问题。但评估很困难：公司不愿共享内部通信，而合成数据集又过于简单。我们提出 CorporateBench（CB），这是一个经过人工验证的多任务问答基准，其规模接近 LLMs 在企业通信网络中遇到的条件，评估语料超过 230,000 份文档。CB 通过四个合成生成的公司在两个维度（信息抽取和知识库查询）上评估 LLMs，这些公司规模从 12 名员工到 10,000 名员工不等。每个语料库都从一个随时间演化的知识库中采样，该知识库描述了一个一致的世界，即使跨越数十万份文档也能保证跨文档的逻辑一致性。我们在 CB 上评估了五个 LLM，结果显示，随着输入规模接近现实尺度，性能会越来越差。CB 为 LLM 开发者提供了一个用于企业通信推理的指标，填补了基准测试生态中的一个关键空白。