AI 日报

了解 OpenAI 如何破坏一场提取受保护模型推理过程的行动，并加强针对对抗性蒸馏的防御。

— OpenAI Blog

文章 URL： https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-4-argon/ 评论 URL： https://news.ycombinator.com/item?id=49913571 积分：154 评论数：56

— Hacker News 熱門

— DeepMind Blog

大家好，HN 用户们，我是 Anders，Tom 也在这里。我们正在开发 Magnitude，这是一个面向智能体的推理引擎，能够自我优化，以便在你的硬件上尽可能快速地运行。它支持 Mac、Linux 和 Windows，可运行于任何硬件上，速度最高可达 llama.cpp 的 2 倍。 我们都是软件工程师，此前曾构建过一个开源浏览器智能体，获得了 4k+ GitHub 星标和 100k+ 下载量。我们越来越希望在本地模型上运行它，但发现没有任何推理引擎适合我们的使用场景。 如今的推理引擎都需要在性能上做出取舍。它们要么是： - 面向数据中心硬件上的批量推理构建，以牺牲单会话性能为代价（vLLM、SGLang） - 注重广泛兼容性，而不是针对特定硬件进行优化（llama.cpp、Ollama） - 针对特定硬件或模型进行了专门优化，但引擎功能不够完整（oMLX、ds4） 此外，它们都不是为在本地运行智能体而设计的。智能体会运行很长时间，通常还会同时运行多个实例，而你仍然希望电脑能够处理其他任务。 Magnitude 专为在你的硬件上实现最高性能以及运行本地智能体而构建： - 设备端编译与调优：内核使用灵活的参数编写，并会在模型运行前根据你的实际设备进行调优。这让我们在保持与广泛硬件兼容的同时，也能达到与硬件专用内核相同的性能上限。 - 专注于最佳架构：我们会针对最流行的开放权重模型系列编写可调优且高效的内核。这使我们能够达到并超越硬件或模型专用引擎的性能，而不必为了过度泛化而牺牲性能。 - 动态内存分配：Magnitude 在启动时只预留足以容纳模型权重的内存。随着智能体会话增长，内存堆会动态扩展；智能体停止后，所占内存也会自动释放。这样，智能体运行期间，你的硬件仍可用于其他任务。 - 混合分页注意力：我们借鉴了 SGLang 等引擎中的优秀理念，让并发会话能够共享前缀缓存，同时针对内存邻接性优化数据布局，从而不会影响单会话性能。 Magnitude 完全开源（Apache 2.0）。我们使用 Rust 构建了它，其中包括定制的 GPU 内核运行时和自动调优器。为了达到性能上限，我们从学术界的最佳推理创新（例如 FlashAttention、FlashInfer、TurboQuant）以及其他引擎（例如 SGLang 的基数注意力）中汲取灵感。 在 Qwen 3.6 35B A3B（4 bit）、64k 上下文且不使用推测解码的条件下，与 llama.cpp 进行基准测试： Metal（Mac M4 Pro 48 GB） - 解码速度提升 92%（30 tok/s → 57 tok/s） - 预填充速度提升 9%（466 tok/s → 507 tok/s） - 每个智能体的内存占用降低 28% CUDA（DGX Spark） - 解码速度提升 19%（49 tok/s → 58 tok/s） - 预填充速度提升 23%（2,033 tok/s → 2,507 tok/s） - 每个智能体的内存占用降低 27% Magnitude 以桌面应用的形式发布，你可以轻松地将它连接到已经在使用的各种智能体（Pi、OpenCode、Hermes、Codex 等）。只有当这些智能体确实需要模型时，它才会按需自动运行模型，并在闲置后将其关闭。 效果如下： https://www.youtube.com/watch?v=0qE8BWEZu7o 我们很期待进一步推进 Magnitude，让你能够在相同硬件上运行更大的模型，同时持续提升性能。我们的计划包括： - 专家流式加载：将专家存储在 RAM 或磁盘中，并在需要时即时加载。这样，你就能运行原本无法装入 GPU 的更大模型。 - 内核编译器：目前，我们的内核会调优少量参数以适配你的硬件。借助完全定制的编译器，我们可以更进一步，自动选择内核融合方式和实现方案，从而让它更好地适配你的硬件。 - 多设备利用：通过检测系统中的所有硬件（CPU、GPU、RAM、磁盘），自动求解最佳模型布局，以尽可能充分地利用它们。 我们希望有更多人来试用并向我们提供反馈。欢迎在这里留言，我们一整天都会在线！ 评论链接： https://news.ycombinator.com/item?id=49911995 得分：5 评论数：0

— Hacker News 熱門

大家好，我是 Ajo，Strata 由我打造。 我在 Netflix 工作了 4 年，为非技术业务用户解决自助服务问题。我认为，凭借自己独特的语义层设计方法，我已经找到了答案。对我们的非技术同事来说，关键挑战是在表现力与易用性之间取得平衡。事实证明，这种专注也让它与 LLM 配合得相当不错。 Strata 是一个全栈解决方案，包含语义层、仪表板、订阅和 google sheets 导出功能。所有这些都可以通过 agent 对话或 MCP 完成。 一些核心概念和功能： 名称是严格限定的。一个项目中只能存在一个名为 Revenue 的对象。如果 revenue 映射到多个表，查询粒度和速度将决定使用哪个表。 严格的命名规范有助于实现跨事实域的自动数据混合。 具备分区和聚合感知能力的语义路由。这使你能够将部分数据加载到 Druid 或 ClickHose 等速度更快的计算引擎中，同时将完整历史数据保存在 trino 或其他成本更低的系统中。如果查询可以在那里完成，查询引擎就会选择更快的层级。 复杂度量：开箱即用地支持 snapshot、LOD（include/exclude）、Compound 和 Auto leveling compound 度量。 在语义层之上，用户可以创建跨越多个事实域的自定义计算。 另一个有趣的功能是能够创建群组，并将其作为过滤器应用于整个查询，或应用于查询中的单个度量。 我们有意不构建一个供你的 BI 工具连接的语义层。我认为那是一条死路。对于你想在其上构建的任何定制功能，我们提供 APIs 和 MCP。 在 docker 上免费试用： https://strata.do/try/ 帮助你入门的文档： https://strata.do/docs/ 这是一个早期 beta 版本，并非开源。不过，免费层最多支持 25 位用户。你应该可以通过 docker 完全在自己的机器上运行它。 非常期待听到你的反馈，尤其是正在使用 Looker 和 Cube 的朋友。 感谢阅读！ 评论链接： https://news.ycombinator.com/item?id=49909913 得分：4 评论数：0

— Hacker News 熱門

我为大约 10 到 14 岁的孩子制作了这个应用。一个叫 Errol 的机器人会逐步解答一道数学题，其中有一个步骤是错误的。孩子需要找出这个步骤，并说明它错在哪里。有时其实没有任何错误，所以不能每次都只说“这里有错误”。如果用户发现了错误，需要输入解释才能获得更多 XP；答题速度也会影响得分。应用不支持与 LLM 直接互动或聊天。Lathoa 的测试框架很稳定，并且包含许多评估步骤，用来发现不一致之处和提示注入。 无需注册，就可以在主页上体验一道题。 让我感到意外的是：要让 LLM 故意出错很难。有一半时间，它会给出正确答案，却把答案称为错误，或者指出一个实际上正确的“错误”。因此，每个案例都会在展示给孩子之前进行检查。在可以做到的地方，系统会使用简单的算术检查，重新准确计算一遍。另一个模型也会在看不到 Errol 解题过程的情况下独立解答这道题。如果两者有任何不一致，这个案例就会被丢弃。 薄弱之处在于，第二个模型可能会犯下与第一个模型相同的错误。算术检查就是为此设置的，但目前它只能处理英文案例。德语和希腊语用逗号表示小数，而我还没有正确完成解析。 我真正想知道的是：找出别人犯的错误，是否能教会孩子一些自己解题无法学到的东西？我不确定，也很想听听教育工作者的看法。 评论链接： https://news.ycombinator.com/item?id=49909648 得分：7 评论数：0

— Hacker News 熱門