ConceptARC at Scale：研究推理模型的概念理解能力

arXiv:2611.06732v1 公告类型：交叉收录 摘要：大型推理模型（LRMs）在具有挑战性的基准测试中表现出色，但它们能否在概念相关的推理任务之间形成可泛化的抽象，仍不明确。Abstraction and Reasoning Corpus（ARC）为研究抽象能力提供了一个受控测试平台，要求解题者根据少量示例推断二维网格上的变换规则。虽然 ARC 评估的是单个任务内的规则抽象能力，但不同任务即使需要不同的变换，也可能共享更高层次的结构——例如，多个任务都可能涉及对包含在其他对象内部的对象进行推理。ConceptARC 等基准通过将 ARC 风格的任务按反复出现的空间和语义概念分组来捕捉这种结构，但每个概念通常只包含少量人工构建的任务。我们推出了 ConceptARC at Scale，这是一个可针对特定概念生成数千个 ARC 风格任务的生成器。利用该生成器，我们构建了 ConceptARC-100 数据集，其中包含 1,600 个经过人工审核的新任务，为 ConceptARC 定义的 16 个概念各提供 100 个任务，规模是原始基准的十倍。我们在 ConceptARC-100 上评估了多种近期推出的大型推理模型以及从头训练的模型，以刻画它们能够可靠解决哪些概念的任务，以及在哪些方面存在困难。我们进一步分析了模型的内部表征，并发现清晰的语义结构：任务表征会根据施加于对象的操作（如重新着色、移除或平移）形成聚类，即使这些操作是通过差异显著的规则和场景实现的。综合来看，我们的结果表明，模型能够形成对变换操作的稳定抽象，并将其泛化至多种不同任务。