HyperBrowseComp：面向网页浏览代理的多语言多模态压力测试

我们推出了 HyperBrowseComp，这是一个多语言、多模态网页浏览基准，包含覆盖 13 种语言的 423 个由人工编写并经人工验证的问题，编写者均为母语者或具备高水平语言能力的使用者。这些问题的设计极具挑战性。每个问题都针对一个简洁且可公开验证的答案，找到答案需要定位隐蔽证据、沿着多步线索链进行追踪，或检查视频、扫描文档、图像、地图等异构来源。我们通过使用无法访问互联网的模型对问题进行评估，筛除较为容易的问题，以降低仅凭参数知识即可回答这些问题的可能性。我们在统一的代理协议下，使用各服务提供商原生的搜索功能和共享的外部检索工具，对多个模型进行了评估。为帮助理解模型的性能和工作量，我们还针对部分问题开展了人工评估。HyperBrowseComp 为跨语言、跨证据模态的持续信息搜寻提供了一个极具挑战性的测试平台，其难度源于在开放网络上发现并关联证据。