端侧

在手机或电脑本地运行的端侧模型与系统功能。

arXiv cs.LG73

ERIS：通过联邦分片聚合改善联邦学习中的隐私、效用与可扩展性权衡

arXiv:2602.08617v3 公告类型：替换 摘要：将联邦学习（FL）扩展至十亿参数规模的模型，迫使人们在隐私、可扩展性和模型效用之间进行艰难权衡。现有解决方案往往孤立地应对这些挑战，或牺牲准确性，或依赖成本高昂的密码学工具，或引入影响收敛的通信与优化低效问题。我们提出 ERIS，这是一个以联邦分片聚合（FSA）为核心的 FL 框架。FSA 是一种新机制，将每个客户端的更新划分为互不重叠的分片，并将其聚合工作分配给多个客户端侧聚合器。FSA 消除了中心聚合瓶颈，限制了任何单一观察者可见的信息，并在重新组装后保持与中心化 FL 相同的更新。ERIS 还可以便捷地集成分布式移位压缩（DSC），以减少传输载荷和暴露的坐标。我们证明，在标准假设下，ERIS 保持收敛性，且互信息泄漏的上界由每次更新中可观测部分的比例决定；该上界随客户端侧聚合器数量的增加而降低，在启用 DSC 时还会随压缩程度的提高而降低。在图像和文本任务（包括大语言模型）上的实验表明，ERIS 实现了与 FedAvg 相当的效用，同时显著缓解了通信瓶颈，并提高了对成员推断攻击和重建攻击的鲁棒性，且无需依赖繁重的密码学运算或降低效用的扰动。

arXiv cs.LG75

TTS-Q：感知引导的文本转语音扩散 Transformer 训练后量化

arXiv:2610.12474v1 公告类型：交叉收录 摘要：零样本文本转语音（TTS）可以仅凭几秒钟的音频克隆声音。然而，这种高质量表现依赖于拥有数十亿参数的扩散 Transformer，其模型规模和多步采样使最需要它们的端侧、辅助技术和实时应用难以采用。训练后量化（PTQ）无需重新训练即可压缩此类模型，但现有方法主要面向语言和视觉，而非语音。在 4 比特精度下，即使是性能强劲的量化器，也只能让语音可懂度接近全精度水平，却会持续损害说话人的音色，因此错误率仍然较低，声音却偏离了目标说话人。我们探究量化为何损害语音、损害发生在哪里，以及能否在不重新训练的情况下修复这些损害。为此，我们首次针对 10 亿和 35 亿参数规模的 TTS 扩散 Transformer 开展了权重与激活均为 4 比特（W4A4）的 PTQ 研究。音色损失来自权重量化和激活量化两方面，但只有激活量化部分具有可供精度调度利用的时间步结构。因此，我们提出 TTS-Q，从与任务匹配的校准候选项中选择难以量化的项，并采用预算平衡的混合精度调度，为后期时间步的前馈激活分配更高精度。TTS-Q 在两种模型规模上均实现了最佳的音色恢复效果，且不牺牲语音可懂度。此外，部署后的经校准 W4A4 参考方案降低了 GPU 峰值内存占用，为资源受限条件下的 TTS 部署提供了实用参考。

arXiv cs.LG74

通过合成自蒸馏对小模型进行持续后训练

arXiv:2610.13113v1 公告类型：新提交 摘要：持续后训练面临能力习得与知识保留的双重挑战：模型必须在学习新能力的同时保留已有知识。尽管自蒸馏微调（SDFT）利用上下文示例进行自监督来缓解这一问题，但它依赖于较强的上下文学习和指令遵循能力。因此，SDFT 在对低延迟、端侧应用至关重要的小模型上失效。为使较小规模的模型能够持续学习，我们首先确定了失效的根本原因。我们表明，能力习得不佳和知识遗忘与后训练模型的分布偏移呈线性相关，揭示了分布内学习的必要性。因此，我们提出合成自蒸馏（SynthSelf），将改写任务交由规模仅略大、同系列的对齐模型完成，以模仿 SDFT 的分布内改写。结合离策略监督和拒绝采样，这种方法能够在不破坏小模型原始分布的前提下，提供其所需的高质量监督。在 4 个能力习得数据集（包括一个混合数据集）和 14 个知识保留基准上的评估表明，SynthSelf 在 3 种小模型规模上均持续优于 6 种方法（包括离策略蒸馏和同策略蒸馏）。大量进一步分析证实，SynthSelf 为有效实现小模型持续学习铺平了道路。

Hacker News AI41

Tell HN: Apple not letting removal of AI models on macOS 27 is outrageous

I feel like there's not enough outrage over Apple not removing their Apple Intelligence models on macOS 27 even after disabling Siri. I have a 512 GB Mac mini but because I have so much data, I also have a 2 TB monthly iCloud subscription. I have Siri AI turned off. Yet, my storage settings show 30 GB is occupied by useless Apple Intelligence models which I don't use. And these models can't even be moved to my 2 TB iCloud subscription. It's really pissing me off. I feel like there needs to be a lot more negative publicity about this to get Apple's attention. More tech blogs should be writing about how horrible of a decision this is. I am hoping this post does that. Comments URL: https://news.ycombinator.com/item?id=49993338 Points: 24 # Comments: 9

arXiv cs.LG77

MemFLoRA：面向边缘端 CNN 适配的内存下限 LoRA

arXiv:2610.08669v1 公告类型：新 摘要：部署后，当模型遇到特定于用户、传感器或环境的变化时，端侧学习是必需的。尽管参数高效微调（PEFT）方法，尤其是低秩适配（LoRA）变体，能够实现边缘端的高效适配，但对于卷积神经网络（CNN）适配而言，限制性资源通常不是可训练参数的数量，而是必须保留到反向传播阶段的激活状态。本文提出 Memory-Floor LoRA（MemFLoRA），这是一种围绕内存优先设计原则构建的低秩 CNN 适配器，而非直接应用面向 Transformer 的 LoRA。我们没有仅仅减少可训练权重，而是定义了激活内存下限标准：可训练的反向计算不得依赖全宽层输入。由此得到的适配器冻结下投影，训练与尺度匹配的上投影，并结合评估模式下的骨干网络归一化与激活最小化反向规则，将保存的状态减少至低秩分支。在三个人体活动识别（HAR）数据集和两个 CNN 骨干网络上进行评估，并考察主体、身体位置和传感器放置位置变化，结果表明，相较于全量微调，MemFLoRA 将保存的激活内存减少了 98.5%–98.7%，将训练状态峰值内存减少了 94.9%–97.3%，同时达到或超过 CNN PEFT 基线方法的性能。

arXiv cs.LG79

Stepped MoE：可配置推理复杂度的分段级路由

arXiv:2610.07348v1 公告类型：新 摘要：大型语言模型（LLM）的训练资源消耗巨大，而要针对计算约束各异的多种部署场景对其进行适配，仍然颇具挑战。尽管弹性架构能够实现灵活的模型部署，稀疏激活模型能够根据输入自适应地分配计算量，但现有方法通常将这两个维度分开处理。此外，面向端侧设备推理的模型需要符合服务设备在内存和计算能力方面的限制。在本文中，我们提出了一个统一框架，将弹性结构与稀疏门控架构相结合，构建出能够同时适应部署约束和任务需求的模型。我们的方法采用一种同时以上下文和目标效率规格为条件的模型骨干网络，从而能够在推理时对精度—效率权衡进行细粒度控制。该模型学习在具有弹性嵌套结构的子网络中激活与任务相关的参数，使单个模型能够覆盖多个容量档位，同时保持基于输入的自适应路由。实验表明，我们可以构建一种模型，使其能够灵活使用1、2、3或4 billion个参数；与对应的稠密模型相比，该模型在知识密集型基准测试上的准确率更高（提升2–5\%），同时性能与其静态版本相当，并且延迟指标与稠密模型相近。总体而言，通过共享模型参数，我们节省了设备磁盘空间；同时，模型能够根据可用的DRAM和计算资源灵活提供服务，并取得更准确的结果。

The Verge AI67

An open-source tool lets you delete 12GB of Apple Intelligence data on macOS

Getting some extra storage space on your Mac could be as easy as deleting Apple's AI features with a new open-source command line tool called RemoveMacAI. There used to be a single Settings toggle for disabling Apple Intelligence, but that was removed in macOS 27. Now, the models stay on your disk, and the features […]

arXiv cs.LG75

FedFit：通过向量库参数化与量化实现LLM的联邦微调

arXiv:2610.01537v1 公告类型：新 摘要：联邦学习（FL）能够在保护隐私的前提下对大型语言模型（LLM）进行微调，但巨大的通信开销仍然是一个关键瓶颈。此外，在FL中应用低秩适配（LoRA）面临着准确的乘积之和（SoP）实现与通信高效的和之积（PoS）实现之间的根本性“聚合困境”。为应对这些挑战，我们提出了FedFit。首先，为显著降低通信开销，我们引入了一种不相交共享向量库参数化方法，通过两个紧凑且互不相交的全局向量库重构高维适配器矩阵。其次，为解决聚合困境，我们设计了一种交替优化方案。该方案在解耦的单向量库更新（支持准确聚合）与通过残差谱聚合机制校正的联合更新之间循环交替，从而解决SoP与PoS之间的冲突。此外，我们结合分块量化与客户端侧误差反馈，进一步压缩传输的向量。我们还为所提出的算法建立了理论收敛保证。在Qwen2.5模型上的大量实验表明，FedFit实现了与标准联邦LoRA方法相当的困惑度性能，同时提供最高达100倍的压缩比。

Hacker News 熱門64

Ask HN：在 macOS 27 上无法禁用 Siri 吗？

我在 Settings 应用中禁用了 Siri，随后又在 Settings > Screen Time 中进一步禁用了 Siri 及其扩展功能。 接着，我按照 https://github.com/OleksandrKrupko/mac-os-debloat 中的说明，禁用了所有与 Siri 和 Apple Intelligence 相关的服务。 但重启后，我仍然能在 Activity Monitor 中看到一个名为“Siri”的进程正在运行。经过进一步检查，我发现它实际上是“Siri AI.app”。 这些“功能”与 Apple 的 Personal Context 听起来与 Microsoft 的 Recall 非常相似。 有人遇到过同样的情况吗？在 macOS 27 上，真的不可能完全关闭 Siri、Siri AI、Apple Intelligence 以及所有相关的服务和功能吗？ 评论 URL： https://news.ycombinator.com/item?id=49786609 积分：30 评论数：13

arXiv cs.AI83

Samsone：面向端侧推理的开放式小型音频语言模型系列

大型音频语言模型的成功推动了参数量超过数十亿的超大规模多模态网络的发展。然而，对保护隐私和低延迟处理的需求，使研究重点转向能够在设备端运行的小型音频语言模型（SALMs）。本文介绍了面向边缘计算设计的 SALMs 系列 Samsone。我们的核心模型 Samsone-134M 在多个基准测试中为其规模类别确立了新的当前最先进水平。我们还通过推出 Samsone-99M 和 Samsone-356M，进一步探索 SALMs 的规模定律。尽管模型规模紧凑，Samsone 系列的性能仍可与参数量大几个数量级的模型相媲美。为推动开放研究和结果复现，我们使用公开可用的数据训练 Samsone。我们发布了训练代码、模型权重和针对移动设备优化的检查点，并提供了一个开源 Android 应用，用于展示 Samsone 在设备端的实时推理能力。

Hacker News 熱門77

Show HN：Cactus Needle 3：8-29MB 自动化模型可媲美 DeepSeek V4 Flash

嘿 HN，我是来自 Cactus 的 Henry。 几周前我们在这里提交了 Needle 2，讨论串里的反馈非常有价值，感谢大家！得益于所有这些反馈，我们得以快速发布 Needle 3，我也很想再次听听你们的看法。 关键特性： 1) 自动化（工具调用与结构化 JSON 输出）：Needle 仍然在设计上不用于聊天，要把通用能力塞进如此小的模型里相当有挑战，所以我们专注于工具调用和结构化 JSON。如果你声明的工具都不适合该请求，就会返回一个空列表（试玩 demo 时请注意这一点）。 2) 智能阶梯化：每一层（2 到 20 层）都是一个可部署的子网络，因此只需一组权重，2-bit 下为 2500 万到 1.21 亿参数，以 8-29MB 二进制文件发布。在 Raspberry Pi 5 上，它的解码速度最高可达 4k tokens/秒，预填充最高可达 10k。 3) Monarch Hadamard MLP：用三组可学习的、以 Walsh-Hadamard 初始化的 Kronecker（Monarch）因子对取代密集 FFN，中间交错每通道对角缩放、固定置换、SiLU 非线性，以及一个 rank-8 输入条件门控，因此每个 token 都能对其 d_model 通道进行完全混合的非线性变换，参数量和计算量为 O(d√d)，而不是密集 4 倍扩展 MLP 所需的 O(d²)。 4) 性能：在 Mobile Actions（手机命令，按精确调用评分）上，20 层模型通过发布的 2-bit 二进制文件取得 86.0；LFM2.5 1.2B 为 82.4，Qwen3.5 0.8B 为 76.0，Apple 的端侧模型为 57.6，全部为 f16。链接中有更多结果，当然我们并不是处处领先。 5) 多语言：Needle 3 现在支持英语、法语、西班牙语、德语、荷兰语、意大利语、波兰语，更多语言即将推出。 6) 微调：你可以只用 4L 在一个窄任务上达到 DeepSeek v4 Flash 级别的性能，重点是“窄任务”；我们发现生产用户通常更倾向于在投产前先进行调优。 7) 触发器：落地到具体上下文是工具调用的常见挑战，至少对 Needle 2 来说如此，因此我们增加了对大小写不敏感正则表达式的支持，可与每个请求匹配以拦截假阴性。 8) 置信度：每个响应还附带一个校准后的置信度分数，取完成调用后的判断与其解码概率二者中的较小值。高于你的阈值就执行；低于阈值则显示调用并询问，或升级到更大的模型。 9) 支持平台：macOS、x86-64 上的 Linux、ARM64、ARMv7、RISC-V 和 MIPS32、Windows x64 和 ARM、Android、iOS、watchOS、tvOS、作为 WebAssembly 的浏览器，以及一个 WASI component。 感谢阅读，和往常一样，欢迎分享想法！ 评论 URL： https://news.ycombinator.com/item?id=49748553 得分：144 评论数：71

Hacker News 熱門68

告诉 HN：iOS 27 不允许停用 Apple Intelligence

我很惊讶这件事在 Beta 期间没有得到更多关注。 iOS 26 中有一个开关，可以选择停用所有 Apple Intelligence 功能。 iOS 27 移除了这个开关。每项 AI 功能都必须单独关闭：https://archive.ph/AE72I 可以通过 Screen Time 中的 Content Restrictions 将其关闭，但有一位 Reddit 用户报告称，这样做会不知为何导致 CarPlay 无法使用。 这着实令人失望。 评论链接： https://news.ycombinator.com/item?id=49704226 积分：25 评论数：0