基于应用手册的任务：揭示语言模型在长程程序推理中的缺口

大型语言模型（LLM）在广泛的自然语言任务上已经取得了出色表现，近期基准测试也表明，它们越来越擅长多跳推理。然而，这些基准通常属于短程任务，只需执行少量检索或推理步骤，因此对于涉及遵循数百页手册、处理复杂且相互依赖的指导原则的现实任务，其可靠性所能提供的证据十分有限。在本文中，我们提出 Tasks over Application Manuals（TAM），这是一个用于评估长程程序推理能力的基准。我们从两个领域整理现实世界任务，构建了 TAM：ICD-10-CM 临床编码（将疾病状况映射到诊断代码）和美国联邦量刑（计算犯罪量刑指南结果，具体而言是犯罪等级），并为这些任务提供了经人工验证的标签。每项任务都要求遵循一份包含数万条规则的权威手册，并跨越不同章节执行一系列相互依赖的步骤，以得出精确答案。我们评估了多种通用提示方法，包括检索增强生成、ReAct 风格提示，以及在 GPT-5 上使用 agent-harness 的基线方法，发现最佳精确匹配性能仍然极低：ICD-10-CM 编码任务仅为 1%，量刑任务仅为 15.5%。这些结果表明，当前基准可能高估了 LLM 的推理能力，并遗漏了一项关键挑战：可靠地遵循基于大量规则的长程程序。完整的 TAM 数据和代码已公开。