Launch HN：Momentic (YC W24)——通过使用你的应用来发现缺陷的智能体

嗨，HN，我们是 Wei-Wei 和 Jeff。我们正在开发 Momentic，这是一组 QA 智能体，能够自主规划、探索并集中测试你的 Web、iOS、Android 以及即将支持的桌面应用中的控件和用户流程，从而发现缺陷。演示视频：https://youtu.be/BFsM-Se1Fh8 我们都是软件工程师，职业生涯一直围绕开发工具和基础设施展开，曾在 Robinhood、Retool、WeWork 和 Qualtrics 等公司工作。测试一直是件让人头疼的事（尤其是 Playwright 和 Selenium），所以我们开发了智能体来替我们做这件事。 如今的软件存在大量缺陷，而随着编程智能体的采用规模不断扩大，变更失败率也在加速攀升。大语言模型非常擅长生成代码，但会不断强化自身的假设，编写大量无用的测试，而且不擅长视觉理解。在 DeepSWE v1.1 上，Sonnet 5.5 在被禁止编写测试时达到了 66.2% 的通过率，而允许编写测试时的通过率为 65.3%。Playwright、Selenium 或 Maestro 等开源端到端测试框架会迫使你在测试中硬编码 XPath、文本或 aria-* 属性等实现细节。即使有智能体辅助，构建和维护这些测试仍然需要花费不少时间和词元。 2023 年，我们看到 Nat Friedman 通过 natbot 使用 GPT-3 操控浏览器。这启发我们用这项技术来自动化软件工程中最痛苦、最繁琐的环节：测试。起初，我们使用大语言模型生成和维护 Playwright 测试，但很快意识到，这些基础机制与智能体驱动的软件开发生命周期存在根本性的不匹配。我们认为，QA 的未来是让智能体亲自执行测试，而不是编写脚本。 Mo 是一个专为发现缺陷而定制的智能体运行框架，建立在 Momentic 过去 3 年的积累以及来自复杂真实应用的数百万条测试轨迹之上。Mo 以召回率为设计重点：它能发现最多的真实缺陷，不过 Codex 的精确率略高，为 86%，而 Mo 为 84%。代价在于成本：Mo 每发现一个缺陷的成本为 2.67 美元，Codex 则为 0.80 美元，但 Mo 的成本仍低于 Claude Code 和 Devin。 - 自组织智能体图。Mo 会在探索过程中构建有向无环图（DAG）。大型产品功能区域会自动分叉，由多个并行子智能体负责，每个子智能体都有自己的浏览器或设备，可并发执行任务。 - 面向特定领域任务的专用智能体。规划智能体根据截图和视频进行推理，专门的定位智能体则检查页面结构，以确定用日常英语描述的交互目标。其他智能体还负责图像分析、视频理解、音频生成等任务。 - 并行智能体通过协作式资源租约进行协调。智能体可以声明自己正在“使用”或“修改”彼此重叠的资源或测试夹具。多个“使用”声明可以共存，但对于任何一个特定资源，同一时间只能有一个生效的“修改”声明。 - 可规模化扩展的基础设施。Mo 自带隧道功能，让用户可以将私有站点和本地应用开放给我们托管的智能体及基础设施访问。单次集中缺陷排查就能启动数百个并发运行的浏览器和设备。 我们在 4 个热门开源应用上，将 Mo 与编程智能体进行了基准对比：Gitea（5.88 万颗星）、Metabase、Twenty (YC) 和 Saleor，涵盖 1,396 个人工标注的缺陷。每个智能体都获得相同的任务说明和一个全新的 E2B 沙盒，且无法访问源代码。Codex 和 Claude Code 使用 Browserbase 托管的浏览器，而 Devin 使用其内置浏览器。评估方面，我们采用大语言模型担任裁判（GPT-6.1 Sol），并配备一名人工审核员。 限时 60 分钟运行的结果： - Mo：269 个缺陷，召回率 19.3%，精确率 84%，每个缺陷成本 2.67 美元 - Codex（GPT-6.1 Sol + Playwright MCP）：86 个缺陷，召回率 6.2%，精确率 86%，每个缺陷成本 0.80 美元 - Claude Code（Opus 5.5 + Playwright MCP）：59 个缺陷，召回率 4.2%，精确率 80%，每个缺陷成本 4.09 美元 - Devin：27 个缺陷，召回率 1.9%，精确率 84%，每个缺陷成本 3.89 美元 给 Mo 的时间越多，它发现的缺陷就越多。从 30 分钟延长到 60 分钟后，它发现的缺陷从 177 个增加到 269 个（增长 52%），而 Codex 仅增长了 16%。 结果：https://momentic.ai/qa-bench 详细文章：https://momentic.ai/blog/qa-bench 数据集：https://huggingface.co/datasets/momentic/qa-bench 运行框架：https://github.com/momentic-ai/qa-bench 我们刚刚推出了针对 Vercel 和 Cloudflare 部署预览的 PR 测试功能，并向每位新注册用户赠送 250 美元的 Mo 使用额度。付费套餐提供更高的基础设施容量和套餐内使用额度，也支持额外充值。 欢迎大家试用并向我们提供反馈。随时在这里留言，我们一整天都会在线！ 评论链接：https://news.ycombinator.com/item?id=50339913 得分：13 评论数：0