EnigmaForge:问题隐藏在故事中
EnigmaForge: The Question Is Hidden in the Story
精选理由
揭示模型能否从复杂文档中主动发现问题并完成推理,区分理解与事实检索及拒答影响。
AI 摘要
大多数基准测试会直接向模型提出问题。EnigmaForge 则只给模型一摞旧文件,完全不提供问题。信件、收据和日志页边空白中隐藏着一个小型逻辑谜题,其解是唯一的——生成时由 SAT solver 证明,并附有消融证书,表明每条线索都不可或缺。由于实例是生成的而非收集的,这个语料库可以不断更新。核心指标是直觉:仅提供故事时任务的成功率;世界重建能力则作为次要维度。25 个前沿模型在三种匹配条件下运行了 600 多个实例(17,400 条计分记录)。直觉重新排列了排行榜:事实恢复能力的差距仅为 1.6 倍,而直觉能力的差距达到 22 倍;事实恢复能力第二强的模型排名第十四;一个模型在是否被告知问题这件事上表现无差异,另一个模型在不知道问题时反而显著更强。还有几个模型在接触谜题之前就被自身的内容过滤器拦截了——任何将拒答计为失败的基准测试,实际上都在悄然衡量过滤器的行为。