AI 日报

了解如何使用 llama.cpp 在 Amazon SageMaker AI 上部署决策模型。本技术教程将通过用于 llama.cpp 的 AWS Deep Learning Container 提供兼容 OpenAI 的聊天补全服务，然后使用 SemIf 扩展运行时，以便在 CPU 或 GPU 上返回针对已声明选项的概率。

— AWS Machine Learning Blog

— Hacker News 熱門

大家好，我是 Agent37（https://agent37.com）的 Vishnu。我们构建了用于运行 AI 智能体的沙箱，成本不到大多数沙箱服务商的 10%。我们的客户平均每个沙箱每月只需支付 0.37 美元。你可以在这里观看产品演示视频：https://youtu.be/DK5ISR2tbNo 我们在今年 2 月起步时，是 OpenClaw 封装公司中的一家（没错……大家尽管批评我）。后来，我们逐渐加入了越来越多的运行框架。当时我的目标之一，是为用户提供免费套餐，以获取更多市场份额。但一开始这样做的成本实在太高，尤其是我们当时是自筹资金，服务器费用都靠我的积蓄承担。 如今，得益于此后进行的优化，我们终于能够提供免费套餐了。我们新增注册用户中有超过 90% 选择了免费套餐，他们在我们的云端托管自己的 Hermes、Openclaw、Claude Code 等服务。免费沙箱的基础设施成本平均约为每位用户每月 0.05 至 0.10 美元。 以下是一些帮助我们降低成本的技术： * 观察智能体运行框架时，你会发现它们消耗 CPU 和 RAM 的方式存在某些规律。它们在初始化或执行特定任务时需要突发性的 CPU 资源，但除此之外通常不会持续达到峰值。浏览器和计算机操作等任务需要更多 RAM，而任务完成后，资源使用量通常会回落。降低成本的关键就在于这一点，因此通过高效管理 CPU/RAM 的使用率，我们能够降低成本。 * 其次，租用主机时必须避开超大规模云服务商。我以前在 Amazon 工作过，他们在虚拟机上的利润率高达 80% 至 90%。因此，在查看价格后，我很自然地选择了向下游寻找 Hetzner 和 OVH 这样的供应商。仅这一点，可能就是降低成本最重要的手段之一。 * 第三，你还需要选择一种能够在主机之间高效缓存和共享资源的技术栈。我们使用 gVisor，以实现更高的资源利用率和更快的启动速度。这样，我们就能在多个沙箱之间使用主机上可用的内存，而不必为每个沙箱预留一整台虚拟机的内存。当然，这也存在取舍：我们的 gVisor 沙箱不支持 Docker-in-Docker 或 Android 模拟器等工作负载。 * 最后，你购买的主机的规模和配置也会产生很大影响。就成本而言，瓶颈通常在 RAM，而不是 CPU。对于智能体运行框架工作负载来说尤其如此，因此购买服务器时，我们会优化配置，以便在单台主机中装入更多 RAM。对于有完整虚拟机需求的工作负载，我们也提供完整虚拟机沙箱，包括以略高的价格运行 Docker；不过，综合采用上述其他技术后，它们的成本仍然相当低。 总的来说，我的经验是，只要专注于沙箱使用场景中的某个细分领域，并针对该领域进行优化，就能提供更好的成本与性能平衡。 我之前曾在 Amazon 担任高级软件工程师，并在 Quantcast 担任工程经理。我构建了 Amazon 内部的 AI 聊天机器人 Diya，以及其内部的代码运行框架 Ziya。 如果你想在沙箱中运行智能体，正在寻找沙箱供应商，欢迎来看看我们。我们尤其希望从事消息智能体开发的开发者试用自己的工作负载，挑战我们平台的极限及其经济性。 谢谢！https://agent37.com 评论链接：https://news.ycombinator.com/item?id=50059096 分数：8 评论数：0

— Hacker News 熱門

— Hacker News 熱門

StudentSim 是一个研究系统，用于在 AI 辅导工具与学习者进行测试之前对其进行评估和改进。它模拟个人可能与辅导工具互动的方式，为改进辅导工具在国际象棋、写作和数学等学科中的表现提供反馈。文章《模拟学生学习，打造更优的 AI 辅导》最初发表于 Microsoft Research。

— Microsoft Research Blog

了解如何在 Amazon EKS 上使用多节点 Ray LLM Deep Learning Containers，将一个大型语言模型部署到两个 GPU 节点上，并在一个兼容 OpenAI 的端点后配置独立的预填充节点和解码节点。预构建容器附带完整的推理技术栈，因此您只需配置部署，无需自行组装。

— AWS Machine Learning Blog