ProteinGeoBench：前沿结构生物学智能体擅长查找，却迷失于几何计算

前沿智能体能够很好地检索结构元数据，但从坐标计算几何信息的可靠性较低。我们探讨：基准测试得分有多大程度反映了这一差距，又有多大程度反映了围绕模型设置的评测配置。我们研究了 ProteinGeoBench——一个包含131项蛋白质结构任务的测试套件，使用了来自四个前沿模型的4,249次运行，以及在26个模型上进行的另外4,486次试验。四个前沿模型中有三个的得分彼此相差不超过0.031（0.785至0.816），且未能确定它们之间存在差异；第四个模型得分为0.707，与前三者的三项差距均排除了零值。四个模型中有三个在元数据查找上的表现优于数值计算；第四个模型在数值计算上略胜一筹。131项任务中有28项是数值任务，但在四个模型全部失败的12项任务中，数值任务占了一半。排名还取决于评测预算：每项任务只运行一次时，23.9%的 bootstrap 重采样结果会将不同模型排在第一位。在选定的15项任务子集上，移除网络访问权限所导致的得分下降，大于屏蔽8个结构数据库域名所导致的下降；但这两种对比是在不同轮次中评分的，因此无法清晰分解其影响。换用每个模型自己的命令行智能体后，得分变化范围为-0.071至+0.086；这一比较的规模太小，无法排除评测框架的中等程度影响。在26个模型中，数值任务表现会随非数值任务表现提高而提高，而不是保持不变。由于实验使用了不同的任务子集，因此无法比较模型、评测框架、访问条件和任务构成各自的影响大小。评测应按任务类别报告结果，并同时说明运行次数、评测框架和访问条件。