Show HN：CATT 0.2.1：在 CI 中使用类似 Muse/Instinct 的智能体测试智能体和服务

大家好，HN 的朋友们，我们最近开源了 Consumer Agent Testing Tool，帮助团队针对 Muse 和 Instinct 等专有助手开展迭代开发。我们开发这个工具，是为了减少自己在构建供这些智能体使用的 MCP/API 时遇到的种种烦恼。 问题在于：针对这些工具进行测试很难！智能体记忆加上账户状态的持续保留，使得智能体与其交互的 API/MCP 之间的行为很难复现，也就难以获得可重复、可靠的结果。 解决方案是：CATT 让开发者能够使用模拟 Muse 或 Instinct 的替代智能体来测试自己的服务（本工具与这两家公司均无关联）。测试人员可以为服务状态定义初始条件、审批规则和成功条件。随后，CATT 会记录完整的交互过程（包括工具调用和响应），以便对比实际发生的情况与智能体报告的情况有何差异。测试可以在本地构建过程中运行，也可以通过 CI 运行，既可使用 LLM 支持，也可不使用。 CATT 旨在模拟个人助手交互中的关键部分，具备以下功能： - 工具调用和命令行工具访问 - 对服务操作的模拟审批 - 结果跟踪与比较 - 基于非官方 Muse 模板的可选 MCP 配置 我们对不同助手具体行为的了解有限，因此工具会将其假设标记为 `documented`、`unofficial`、`assumed` 或 `unknown`，供开发者审查。随着有关这些助手内部工作机制的新信息不断出现，我们会尽力保持工具更新。这是一个正受到积极研究和关注的领域，最近这篇关于 Instinct 如何使用 Exa 进行网页搜索的报告就是一个很好的例子 [0]。 你正在构建连接器或 MCP 吗？如果是，我们很想听听你的反馈！你是否遇到过助手行为前后矛盾、使用过时信息，或在没有证据的情况下宣称成功的情况？我们还应该针对哪些情况添加测试？ 最好的入门方式是……把代码仓库交给你的编程助手，让它将这个工具集成到你的 CI 或本地测试流水线中！希望它能帮到你！ [0]: https://www.sunbeam.ai/thoughts/instinct-is-using-exa-for-we... 评论链接：https://news.ycombinator.com/item?id=50201860 得分：4 评论数：0