HyperBrowseComp：面向网页浏览代理的多语言、多模态压力测试

arXiv:2610.03574v1 发布类型：cross 摘要：我们推出了 HyperBrowseComp，这是一个多语言、多模态浏览基准，包含 13 种语言的 423 个由人工编写并经人工验证的问题，撰写者均为母语者或具备高水平语言能力的使用者。这些问题旨在具有极高难度。每个问题都针对一个简洁且可公开验证的答案，而发现答案需要定位晦涩的证据、沿着多步线索链进行追踪，或查阅视频、扫描文档、图像和地图等异构来源。我们使用无法访问互联网的模型对问题进行评估，并筛除较为简单的问题，以降低仅凭参数知识即可作答的可能性。我们依据统一的代理协议，使用各提供商原生的搜索工具和共享的外部检索工具，对多个模型进行了评估。为 contextualize 模型的表现与付出，我们还针对部分问题开展了人工评估。HyperBrowseComp 为跨语言、跨证据模态的持续信息搜寻提供了一个高难度测试平台，其难点源于在开放网络上发现并连接各种证据。