\$OneMillion-Bench：语言智能体距离人类专家还有多远？

arXiv:2603.07980v2 公告类型：替换 摘要：随着语言模型（LM）从聊天助手发展为能够进行长程、多步骤推理并使用工具的智能体，现有基准测试仍大多局限于结构化或考试式任务，难以满足现实世界中的专业需求。为此，我们推出 \$OneMillion-Bench（\$OMB），这是一个包含400项由专家策划的任务的基准测试，涵盖法律、金融、工业、医疗保健和自然科学领域，旨在评估智能体在具有经济重大影响的场景中的表现。不同于以往研究，该基准要求智能体检索权威来源、解决相互冲突的证据、应用领域特定规则并作出受约束的决策；在这些任务中，正确性不仅取决于最终答案，也取决于推理过程。我们采用基于评分标准的评估协议，从事实准确性、逻辑连贯性、实践可行性和专业合规性等方面进行评分，并聚焦专家级问题，以确保能够对不同智能体进行有意义的区分。总体而言，\$OMB 提供了一个统一的测试平台，用于评估智能体在高度依赖专业领域的场景中的智能体可靠性、专业深度，以及其实践就绪程度的指标。