SimuVerity：面向工程级 Simulink 模型生成的智能体基准测试

arXiv:2610.02304v1 公告类型：交叉 摘要：现有的 Simulink 基准测试主要评估生成的模型能否编译、执行或类似于参考模型。这些标准无法证明模型是否满足其工程要求。我们提出 SimuVerity，一个涵盖十个工程领域、包含 101 项从文本生成可执行 Simulink 模型任务的基准。对于每项任务，可执行系统画像用于具体化工程规范以及四类原生仿真场景。分层评估器首先检查制品交付、原生可执行性和工程合格性，然后从六个维度对合格模型进行评分，涵盖准确性、输出质量、机理保真度、控制与因果完整性、运行域鲁棒性以及动态响应。我们使用 SimuVerity 评估了六个智能体系统。最佳系统的总分仅为 42.86。结果表明，结构相似性并不是工程性能的良好替代指标：能力瓶颈既存在于生成合格实现的过程中，也存在于模型通过合格性评估后满足多维要求的过程中。与此同时，一些得分较高的模型仍表现出严重的视觉布局混乱。SimuVerity 为评估智能体的工程能力以及诊断可执行 Simulink 模型生成中的失败提供了系统性基础。