Kimi

月之暗面 Kimi 的模型与产品动态。

arXiv cs.AI80

Humans vs. Machines: A Comparison With AI Agents in Software Reverse Engineering

Can an autonomous AI agent reverse engineer a binary as well as a skilled human analyst? Do they adopt the same strategy, and can agents scale to real-world programs? We compare human and LLM-based software reverse engineering (SRE): nine models tackle two compact static-analysis challenges previously solved by human analysts, scored with a common understanding rubric, and we record their complete interactions with IDA Pro. This lets us compare not only what humans and agents recover, but also how they investigate a binary. The best agents (GPT-5.5 Pro, Claude Opus 4.8, and Kimi K3) achieve statistically human-competitive understanding on both tasks, while weaker models remain far behind. Ablations show that the gap depends on code representation and workflow demands, not on model capability alone: open-weight models improve substantially with richer code representations, whereas frontier models show no significant change. Similar success rates hide different workflows. Humans repeatedly revisit functions and follow local program structure; strong agents jump across the binary, retrieve information broadly, and rarely return to inspected code, a behavior we call greedy fetching. This strategy is not fixed: given semantically richer code, agents fetch less without losing understanding. Because greedy fetching aggregates large amounts of code in the agent's context, we measure context-window saturation across 4,000 real-world binaries: large windows accommodate many programs, but larger applications and lower-level representations quickly exhaust them. Autonomous reverse engineering is becoming competitive, with a large speed advantage, but scaling it will require better navigation, selective retrieval, and persistent analysis state, not merely larger context windows.

Simon Willison78

llm-gemini 0.35

发布:llm-gemini 0.35 今天通过 Gemini API 以及其每月 100 美元订阅计划向客户提供了全新的 Gemini 4 Argon 模型,我为 llm-gemini 添加了对它的支持。下面是低、中、高三档生成的 pelican。如预期一样,它们都非常出色:Gemini 一直以来都很擅长生成优秀的 SVG,而且据我所知,这是唯一一家其员工专门投入 SVG 研究的实验室(他们以前也曾展示过自己生成的 pelican)。这是“高”档生成的插图,花费了我 17.166 美分: 时尚而准确的自行车车架。篮子里有一条鱼。帅气的围巾。双脚分列车架两侧,踩在脚踏板上。车轮辐条、一顶小帽子、漂亮的喙和喉囊,以及略显凶狠的表情。 定价很有意思。发布时,Argon 的价格是输入每百万 token 2 美元、输出每百万 token 10 美元——与 GPT-6 Sol 相同,是 Claude Opus 5.5 价格的一半,以及 Claude Fable 5.1 和 GPT-6 Astra 价格的五分之一。但从 12 月 1 日起,Argon 的价格将翻倍——届时会与 Opus 5.5 同价。 如今,这样的价格并不能真正直接比较,因为真正重要的是:在代理式运行框架中,模型要完成一个目标需要消耗多少 token。Artificial Analysis 发布了使用各模型运行其基准测试的总成本,这为我们提供了一个有用的参考。Argon 在这方面表现非常好:运行该基准测试的成本为 2,407 美元,接近 GLM-5.3,而且明显低于 OpenAI、Anthropic 和 Meta 的最新模型。即使价格翻倍,它仍会比 GPT-6 Astra 略便宜。 Artificial Analysis 的堆叠柱状图截图,对 14 个 AI 模型的美元成本进行比较,按从低到高排序;柱体按提供商着色,每个柱体下方显示提供商徽标,底部以倾斜文字标出模型名称。右上角的徽标为 Artificial Analysis。指向 Gemini 4 Argon 柱体的悬浮提示框显示:Gemini 4 Argon(High),2,407 美元;输出 313 美元;推理 815 美元;缓存写入 897 美元;缓存读取 264 美元;非缓存输入 118 美元;点击查看更多信息。 从左到右的柱体如下,每个柱体上方标有总成本,部分分段数值印在柱体内部:Qwen3.8 27B(xhigh),1,336 美元,Alibaba 徽标;Mistral Large 4 Preview,1,607 美元,Mistral 徽标;Gemini 3.8 Flash(high),1,623 美元,Google 徽标;Muse Spark 1.3(max),2,000 美元,其中一段为 769 美元,Meta 徽标;Gemini 4 Argon(high),2,407 美元,其中两段分别为 815 美元和 897 美元,Google 徽标;GLM-5.3(max),2,503 美元,其中一段为 790 美元,Z.ai 徽标;Kimi K3(max),3,658 美元,Kimi 徽标;Qwen3.8 Max(0902),4,935 美元,其中两段分别为 893 美元和 1,441 美元,Alibaba 徽标;Grok 4.7(xhigh),4,967 美元,其中两段分别为 1,861 美元和 1,618 美元,xAI 徽标;GPT-6 Astra(max),5,324 美元,其中两段分别为 778 美元和 978 美元,OpenAI 徽标;Muse Wonder(max),5,733 美元,其中一段为 1,748 美元,Meta 徽标;Claude Sonnet 5.5(max with fallback),7,260 美元,其中两段分别为 1,216 美元和 1,815 美元,Anthropic 徽标;Claude Opus 5.5(max with fallback),8,708 美元,其中一段为 921 美元,Anthropic 徽标;Claude Fable 5.1(max with fallback),13,129 美元,其中一段为 7,219 美元,Anthropic 徽标。 (我用 ChatGPT 编辑了那张图表!数据全部正确,我已经核对过了——我只是需要让 Gemini 4 Argon 的信息框显示出来,同时避免遮挡其他数字。) 标签:google,ai,generative-ai,llms,llm,gemini,llm-pricing,pelican-riding-a-bicycle,llm-release

MarkTechPost42

Z.ai GLM-Legal Beats Claude Fable 5 and Kimi K3 on Harvey LAB

Z.ai’s GLM-Legal is a legal AI model built on GLM-5.3-Flash. It scores 19.2% all-pass on Harvey’s Legal Agent Benchmark, nearly 3x its base, at $0.15 per test. Access is by application. The post Z.ai GLM-Legal Beats Claude Fable 5 and Kimi K3 on Harvey LAB appeared first on MarkTechPost .

arXiv cs.LG77

DASC:面向混合线性注意力推理服务的衰减感知状态压缩

arXiv:2608.30386v2 公告类型:替换 摘要:混合线性注意力架构近期已扩展至大型开放权重模型,在显著降低键/值(KV)缓存增长的同时,提供了可与全注意力媲美的质量。然而,其原地递归状态更新使缓存管理变得复杂:前缀复用需要在全注意力 KV 缓存之外保存状态检查点,而完整存储状态检查点会增加内存压力,导致更多缓存驱逐和重复预填充。通过分析 Gated DeltaNet(GDN)和 Kimi Delta Attention(KDA)的衰减结构,我们发现,不同注意力头和通道保留前缀信息的时间尺度存在显著差异,我们将其称为\emph{保留时域}。这种差异表明,持久保存的状态检查点具有很大的压缩潜力。基于这一观察,我们提出了\emph{衰减感知状态压缩}(DASC):从模型权重推导保留时域,选择长时域状态单元,并将其打包为不规则的状态检查点布局。为与张量并行推理引擎高效集成,DASC 进一步在各个 TP 秩之间均衡分配压缩后的状态检查点。复用时,DASC 可以将被省略的单元填零,也可以付出额外计算开销,利用长度受限的后缀刷新这些单元。在 Kimi-Linear 上的检索和端到端推理基准测试中,保守的 DASC 配置在将 KDA 递归状态检查点压缩 $2.63\times$ 的同时,保持了接近完整缓存的表现。在固定的状态检查点内存预算下,由此获得的容量提升使平均首个词元生成时间(TTFT)降低了 42.6\%,输入吞吐量提高了 68.4\%。在更高压缩比下,后缀刷新能够恢复因更激进省略而损失的大部分准确率,但代价是额外的重放计算。采用 GDN 的 Qwen 也呈现出类似的质量—效率趋势,表明 DASC 可以从按通道处理的 KDA 扩展到按注意力头处理的 GDN。

arXiv cs.LG77

基于任务结果训练 LLM 智能体的顾问

arXiv:2610.09858v1 公告类型:交叉收录 摘要:大语言模型智能体通过将推理、工具调用与来自环境的观察交替进行,处理多步骤任务。已有研究表明,自然语言反馈可以帮助这些智能体在任务执行过程中修正决策。我们提出 Caddie,一种训练评议模型的方法,使其在智能体执行任务时提供自然语言分析和建议。与依赖步骤级标签或参考评议的方法不同,Caddie 根据智能体在接收评议模型的反馈后最终是否成功来学习。我们通过强化学习优化评议模型,同时保持基础模型冻结。我们的 Qwen3-4B 评议模型使用单一基础模型在多跳问答任务上训练后,提升了四种不同规模和架构的基础模型的成功率,其中三种模型未参与评议模型的训练。在 MuSiQue 基准测试中,训练后的评议模型将 Qwen3-4B 的成功率提高了超过 25 个百分点,超越了未使用评议模型的 Kimi K3 的表现。同一个评议模型在无需额外训练的情况下,也在包括 $\tau^3$ 和 DeepDive 在内的域外交互式基准测试中带来了性能提升。我们的结果表明,智能体可以在推理时决定何时向评议模型寻求帮助,而基于结果的评议模型训练能够产生可跨基础模型和任务领域迁移的指导。

arXiv cs.AI77

基于任务结果训练 LLM 智能体的顾问

大语言模型智能体通过交替进行推理、调用工具和获取环境观测来处理多步骤任务。已有研究表明,自然语言反馈可以帮助这些智能体在任务执行过程中调整决策。我们提出 Caddie,一种训练评估器的方法,使其在智能体执行任务时提供自然语言分析和建议。与依赖步骤级标签或参考评语的方法不同,Caddie 根据智能体在收到评估器反馈后最终是否成功来学习。我们通过强化学习优化评估器,同时保持基础模型的参数冻结。我们的 Qwen3-4B 评估器仅使用一个基础模型在多跳问答任务上进行训练,便能提升四个不同规模和架构的基础模型的成功率,其中三个模型未参与评估器训练。在 MuSiQue 基准上,训练后的评估器将 Qwen3-4B 的成功率提高了超过 25 个百分点,使其表现超越了未配备评估器的 Kimi K3。同一个评估器无需额外训练,也能在域外交互式基准上带来性能提升,包括 $τ^3$ 和 DeepDive。我们的结果表明,智能体可以在推理时决定何时向评估器寻求帮助,而基于任务结果的评估器训练能够产生可跨基础模型和任务领域迁移的指导。

arXiv cs.LG77

ServeLearnBench:智能体能够在多大程度上从服务经验中自我改进?

arXiv:2610.07792v1 发布类型:new 摘要:大型语言模型智能体正越来越多地被部署用于在现实环境中执行复杂任务。然而,在这些环境中实现正确行为所需的知识往往是隐含的、未公开的,并且会随时间变化。近期的持续学习框架试图通过让智能体从服务经验中不断改进来应对这一挑战。然而,这些方法的有效性与局限性尚未得到充分刻画。现有基准只能覆盖部分情况:有些基准明确提供目标知识,有些假设环境是静态的,而支持持续适应的基准在规模和知识多样性方面仍然有限。为实现系统性评估,我们形式化提出了演化环境流式数据集(EESD):在该数据集中,随着隐藏策略不断演化,智能体必须根据交互和结果反馈推断、应用并修订潜在的环境知识;同时,我们引入了 ServeLearnBench,涵盖零售支持、银行业务和销售话术生成等场景,包括 53 个环境窗口和 7,718 项任务。我们在六个模型(GPT-5.6 Terra、Opus 5、Kimi K3、GLM-5.3、DeepSeek V4.1 Flash 和 GLM-5.3 Flash)上评估了五种学习框架(RAG、Mem0、SkillOpt、Continual Harness 和 Prime),覆盖 28 个模型—框架组合和 252 次学习运行。评估揭示了三个主要发现:任务能力与从经验中学习的能力之间仍存在显著差距;持续适应代价高昂,并且可能损害原本正确的行为;探索不足是实现有效适应的关键瓶颈。总体而言,ServeLearnBench 提供了一个受控测试平台,用于诊断这些局限,并跟踪智能体通过服务经验持续、可靠地改进这一目标的进展。

MarkTechPost65

Meet Together Link: A Free CLI That Runs Open Models Like Kimi K3 and GLM 5.3 Inside Claude Code, Codex, and OpenCode

Together AI has released Together Link, a free, MIT-licensed CLI that connects Claude Code, Codex, OpenCode, Pi, and the Claude and ChatGPT desktop apps to open models like Kimi K3 and GLM 5.3. One install command sets it up, and an Auto router picks a model for each session. Together claims savings of over 50%. The post Meet Together Link: A Free CLI That Runs Open Models Like Kimi K3 and GLM 5.3 Inside Claude Code, Codex, and OpenCode appeared first on MarkTechPost .

Import AI61

Import AI 465: Open vs closed gaps; Kimi K3; Demis’ big policy plan

Welcome to Import AI, a newsletter about AI research. Import AI runs on arXiv, cappuccinos, and feedback from readers. If you’d like to support this, please subscribe. Subscribe now UK government: Gap between open and closed weight models on cyber is shrinking:…The cyber-eschaton cometh…The UK government’s AI Security Institute (AISI) has analyzed the delta in […]

arXiv cs.LG83

在点号之间阅读:解码填充词元中的隐藏计算

arXiv:2607.03502v2 公告类型:替换交叉版本 摘要:前沿 LLM 能够在点号或计数序列等不含内容的填充词元上执行多步推理,并在没有可见思维链(CoT)的情况下得出正确答案。这是行为监督的一个极限情形,因为表面词元不携带有关底层推理的信息。但对输出而言隐藏,并不等于对我们隐藏。在四类任务(事实检索、并行数值组合、字符串操作和上下文内计算)中,两个开放权重的前沿模型(DeepSeek V3、Kimi K2)以可读的方式在填充词元上进行计算:注意力将问题经由填充区域传递至答案;logit-lens 读数显示,检索到的事实会较早出现,而它们的组合则在后期层中逐渐成形;在填充位置进行 KV-cache 移植,则能够从因果上交换不同示例之间的输出。我们提出了一种无监督解码流程,仅以隐藏状态作为输入,即可在两个模型和全部四项任务上,以 82%–94% 的准确率(最佳 LLM 评审结果)恢复中间值,无需真实标签或训练。即使不使用评审器,这些隐藏值也已经有 35%–85% 的概率直接出现在该流程的前 2 个词元中。无论填充内容是预先填入,还是由模型自行生成,这一提升都依然存在。在这些能够被清晰分解的任务上,足以击败基于行为的 CoT 监控的隐藏计算,仍可从残差流中读取;这表明,可监控性是模型完整计算轨迹的属性,而不仅仅是其表面词元的属性。

arXiv cs.LG81

在智能体编程任务上进行 RL 的跨基准迁移

arXiv:2610.00890v1 公告类型:新 摘要:编程智能体常常在最后一步功亏一篑:它们完成了大部分功能,却遗漏了一项要求;只测试实现已经能够处理的情况;破坏原本应保持不变的行为;或者依据未经核验的假设进行验证。我们探究了在专家构建的智能体编程任务上进行强化学习(RL)能否弥合这一差距,以及智能体所学内容能否迁移到训练分布之外。我们仅使用 RL 对 Kimi K2.7 Code 进行后训练。这是一个拥有 1T 参数(32B 激活)的开放权重混合专家模型,训练数据包含 1,700 个任务:其中 1,000 个为仓库任务,根据隐藏的 fail-to-pass 测试和针对现有行为的 pass-to-pass 测试进行评分;700 个为终端任务,根据专家编写的隐藏验证器进行评分。奖励是通过的目标检查项所占的比例;如果任一 pass-to-pass 测试失败,奖励则降为零。在三个智能体框架上进行评估时,使用秩为 32 的 LoRA 适配器执行一轮 GSPO,使六个外部基准上的 pass@1 均得到提升:SWE-Bench Pro(60.1 提升至 64.8)、DeepSWE(31.0 提升至 43.4)、Terminal-Bench 2.1(67.4 提升至 82.0)、Terminal-Bench 3(1.4 提升至 12.1)、Terminal-Bench 4(0.0 提升至 7.6)以及 SWE-Marathon(5.0 提升至 25.0)。将五个相互独立的任务集汇总后(Terminal-Bench 4 修订了 Terminal-Bench 3),提升具有统计显著性(p < 0.001);在训练数据收集之后发布的三个任务集上,提升仍具有显著性(p = 0.004)。在训练中从未使用的两种智能体框架上,模型同样取得了提升。在 DeepSWE 和 Terminal-Bench 3 上,中位数轨迹的智能体步骤数缩短了 24%–35%。基础模型在 DeepSWE 上失败的运行大多属于差一点成功的情况;而在训练模型新解决的任务中,成对轨迹显示,它避开了上述四种失败模式中的每一种。

arXiv cs.AI81

LeapQuant:具有精准循环状态量化的高效线性注意力

近期的 LLM 越来越多地采用混合架构,以线性注意力取代标准注意力,例如 Gated DeltaNet(GDN)和 Kimi Delta Attention(KDA)。尽管这类方法将上下文压缩为固定大小的循环状态,并显著降低了长上下文处理的成本,但反复读取和更新该状态仍然是推理过程中的主要瓶颈。量化为降低这一成本提供了一种自然的方法,但由于舍入误差的累积,以及状态中存在离群行和离群列,量化可能会严重降低模型质量。为应对这些挑战,我们提出了 LeapQuant,这是一种无需训练的方法,可在 8 位循环状态量化下实现近乎无损的性能。首先,为减轻误差累积,我们提出按窗口量化,在跨越一个 token 窗口后,仅在窗口末尾对状态进行一次量化。在窗口内部,输出由固定的低比特状态与高精度的缓冲更新共同计算。其次,为减少每次量化引入的误差,LeapQuant 保留状态中幅值最大的离群项,将其作为少量高精度的 Compensator Tokens,并使其与真实 token 共享更新路径。随后,我们在量化前对剩余残差进行平滑,以进一步降低误差。在 Qwen、Kimi 和 GLM 模型系列上的综合实验表明,LeapQuant 能够显著降低推理期间的内存和计算成本。在精度与 FP32 基线相当的情况下,该方法在 NVIDIA B200、RTX PRO 6000 和 RTX 5090 GPU 上实现了内核级平均 2.05--3.70$\times$ 的加速,以及端到端推理 1.47$\times$ 的加速。

arXiv cs.AI83

STEPQuant:Delta-rule循环状态量化中误差何时以及何处重要

线性注意力以固定大小的循环状态取代不断增长的 KV 缓存,但在并发服务场景下,这些持久化状态可能成为严重的内存瓶颈。直接将循环状态量化为低精度通常会导致准确率大幅下降,因为量化误差会在连续的状态更新中传播。我们发现,这些误差的影响取决于两个互补维度:在时间维度上,长生命周期记忆中的误差可能跨越许多解码步骤持续存在;在空间维度上,不同键行中的误差对模型输出的影响各不相同,而状态幅值在行和列两个方向上也存在显著差异。受此启发,我们提出了 STEPQuant,一种面向 Delta-rule 循环状态的时空训练后量化框架。STEPQuant 根据误差幅值和记忆生命周期分配精度,并基于状态分布以及键行对输出误差的影响,联合拟合键行和数值列的缩放因子。在 Qwen3.8-27B 和 Kimi-Linear-48B-A3B-Instruct 上,针对长生成和短生成基准的实验表明,在名义上的 6 位预算下,STEPQuant 的准确率接近 FP32 状态,并且其 4 位配置优于统一 INT8。将 STEPQuant 集成到 SGLang 并配合优化后的 GPU 内核后,6 位 STEPQuant 实现了超过 5 倍的循环状态压缩,并使服务总内存最多降低 68.7%。我们的代码可在 https://github.com/Dreamer-Toby/STEPQuant 获取。

arXiv cs.AI82

SWE-Prometheus:衡量真实代码仓库中的工程治理改进

基于大型语言模型的编码代理在代码仓库级软件工程任务上取得了长足进展。然而,现有的代码仓库基准通常从人工识别的问题出发,并评估补丁是否满足某种功能性信号。我们提出 SWE-Prometheus,这是一个面向更广泛代码仓库工程治理改进任务的基准。每项任务都提供一个固定快照和一个开放式目标,要求代理识别风险、确定干预措施的优先级,并验证由此产生的变更。SWE-Prometheus 通过配对证据、干净环境探测、行为门控,以及两位教师对同一证据的独立评分,从六个治理维度进行评估。该基准包含 60 个代码仓库;其中,十个模型在一个共用的 22 个代码仓库公开子集上接受评估,平均归一化治理改进(Normalized Governance Improvement)介于 0.0568 和 0.5760 之间,观测到的行为破坏率介于 0% 和 23% 之间。在一个冻结的十仓库批次上,一个对代码仓库不可见的模板取得了 0.272 的平均 NGI,但其收益集中在 Tests & CI、Quality Gates 和 Documentation 三个方面;它在任何代码仓库上都没有改善 Reproducible Environment 和 Dependency & Security。该基线使区分“添加治理工件”和“产生有执行依据的改进”成为可衡量的事情。无操作条件的 NGI 中位数为零,标准差为 0.073;对于同一份无操作证据,两位教师在 60 个维度评分中的 57 个上完全一致。对于两个条件均值最高的系统,其 common-valid NGI 相近;而包含行为失败在内的全池比较则更 favor Kimi-K3。这些结果表明,代码仓库治理评估应同时报告改进程度、行为保持情况、证据质量和覆盖范围。

arXiv cs.AI82

CliffCompaction:面向长时程编程智能体的高成本效益压缩

智能体经常处理需要数百万个 token 上下文的复杂问题,而受限的上下文窗口使得跨会话压缩成为必要。我们开发了 CliffCompaction,这是一种自动压缩技术,在有界上下文下最多可降低 50% 的成本,同时在 Terminal-Bench 上保持或提升性能,并为测试时扩展带来新的效率水平,在 KernelBench 上取得最先进的结果。CliffCompaction 在每次运行中节省的成本,使测试时扩展的性能—成本权衡更加高效:在 Terminal-Bench 上,仅低于两次完整上下文运行的成本,就能额外提升超过 10 个百分点。在并行测试时扩展下,CliffCompaction 使 Kimi K2.6 达到与 Opus 4.7 相当的表现,并以更低成本超越 Opus 4.6 和 GPT-5.3 Codex。CliffCompaction 高效的关键在于,它只截断或删除内容,从不对内容进行改述或重写,从而保持压缩信息的忠实性。我们绝不会对压缩结果再次压缩——每次处理仅针对原始内容,之前的压缩输出会被丢弃,以防止上下文漂移不断累积。这些特性支持跨越超过一百万个 token 的会话持续学习:在 KernelBench 上,经过 200 步后,CliffCompaction 实现了 CUDA 内核 2.23 倍的加速,经过 400 步后达到 3.58 倍,尽管它是一种通用压缩技术,仍超越了专用搜索算法和经过训练的智能体。我们开源了一个与脚手架无关的 CliffCompaction API 代理实现,可与 Claude Code、Codex 及其他运行框架配合使用。

Hacker News 熱門78

Training a model to identify AI-generated web content from structure alone

Hey HN! We’re Vincent and Jochen from Sitefire ( https://sitefire.ai ). We have been working together for years, with backgrounds in RL/optimization at Stanford and software engineering from Technical University Munich (TUM). With Sitefire (YC W26), we help marketing teams get recommended by AI Search (ChatGPT, Google AI Overviews, AI Mode, Claude, etc.). Our software monitors prompts, sees which web pages get cited, and uses these insights to help marketing teams take action, e.g. create YouTube videos or write the right blog posts. This means we have a commercial stake in AI-generated web content. And for now, high-information, AI-generated content works great to get cited and recommended in AI Search. But after talking to hundreds of marketing teams, it became clear that everyone despises AI-generated content (“AI slop”). And yet, everyone still wants to leverage AI to create content. So we asked ourselves: what characterizes AI slop? Can we train a model to identify it from human-generated web pages? Researchers from the University of Maryland and Google DeepMind already asked this question for fiction. Their paper StoryScope (Russell et al., 2026) showed that you can tell AI-written stories from human ones by their structure alone, without looking at the words. We ported their pipeline to commercial web pages. Using the Wayback Machine, we collected 2,250 blog posts from 268 B2B company websites that were written before ChatGPT existed. For each blog post, five AI models (GPT-5.4, Claude Sonnet 4.6, Gemini 3 Flash, DeepSeek V3.2, Kimi K2.5) wrote their own version. Instead of looking at the words, we looked at how each post is built. We had an AI model answer 214 questions about every post, e.g. how hard it pushes its own product, whether it backs up its claims with sources, or whether it quotes a named expert. Then we trained a classifier on these answers. On blog posts it had never seen before, our classifier told AI-generated and human posts apart with 98% accuracy, getting only 19 of 1,740 wrong. Why does it work so well? Because all five AI models write in a similar shape. Mapping every AI model’s values for these features, we see they cluster together, while the human values sit apart and spread out much more. Of the 1% most unique blog posts in our data set, 149 are human, only 4 are AI. So what characterizes AI slop? It tells you the same thing three times. The title already promises what you'll get ("How to Cut Onboarding Time in Half"), the intro lays out what's coming, and the ending says it all again. 77% of the AI posts end by repeating their main point, compared to only 12% of the human posts. We call it the tidy, self-announcing blog post. Still, each AI model has its own accent. We trained a second classifier to tell which of the five AI models wrote a post, or whether a human did. It picks the right author 79% of the time, where random guessing (1 in 6) would get 17%. Almost all of its mistakes are mix-ups between the AI models, not between human and AI. The cool thing about structural features is that you can't simply reword your way out of it. We had each AI model rewrite its own posts until, on average, 73% of their original 13-word sequences were gone, and the AI slop classifier still worked just as well. We're building this into Sitefire: our agents get a structural understanding of text, so the posts they write go deeper and vary the way human writing does. There's a lot we haven't tested yet, like the myriad of humanizer tools, human rewriting, restructuring a post, or prompting an AI model to explicitly avoid these habits. And our human posts are mostly from 2020 to 2022, while the AI posts were generated in August 2026. Structure can't really tell when a human post was written, but it's still not a same-year comparison. We published the study with all the figures on arXiv: https://arxiv.org/abs/2609.15369 . The code is on GitHub: https://github.com/pulse-energy-eu/slopshape We're pretty sure your own blog isn't AI slop, is it? We built a checker that runs one of your posts through the ten features from the paper, so you can see for yourself (the full report asks for a work email): https://sitefire.ai/slop-checker . Think you can tell AI slop from human writing? We also made a little game to see if you can keep up with our model, which gets all five rounds right: https://sitefire.ai/spot-the-slop . Comments URL: https://news.ycombinator.com/item?id=49800566 Points: 5 # Comments: 0

arXiv cs.AI74

识别并不等于逆转:一项保持事实不变的新闻框架受控逆向测试

大型语言模型(LLM)正越来越多地用于分析和改写新闻,但当前的框架研究主要评估文本生成、框架检测,或改写后的文本是否显得更加中立。它们并不能直接说明模型是否能够在保持事实不变的同时,消除一种已知的框架转换。我们针对框架的三种既有文本实现形式——评价性词汇、行动者呈现和信息显著性——引入了一项受控逆向测试。在60篇新闻文章和三种干预强度下,该测试生成了540组保留原子事实且记录了编辑内容的成对变体。在Qwen、DeepSeek和Kimi上,事实保留率保持在接近0.84的水平,而干预逆转率仅为0.044--0.068。即使框架类型和方向都被正确识别,合并后的逆转率也只有0.071。这些结果清楚地揭示了事实忠实度、框架识别与框架逆转之间的区别:能够识别一篇文章采用了何种框架,并不意味着能够消除该框架。

arXiv cs.AI81

Fortunate Recall:由本体驱动的 LLM 持久一致性记忆生命周期管理

当前的 LLM 记忆系统将所有个人事实一视同仁,导致存储内容无限增长,同时检索精度不断下降。核心挑战在于生命周期管理:哪些记忆应当持久保留,哪些应当被替换,以及应以何种速率进行更新,而这些决策还应取决于每条事实的行为类型。Fortunate Recall(FR)是一种可组合的策略层,可将个人事实分类为 10+1 类行为本体,并基于类别应用特定的生命周期策略(差异化时间衰减、槽位键替换、事件时间有效性以及类别感知的检索路由);这些策略均作为作用于 LLM 提取元数据的确定性函数实现。我们的基础设施无关实现 FR-Bank 在新的 516 道时间消歧基准 LifecycleBench 上达到 76.9% 的通过率,领先于 Mem0、A-MEM、Memory-R1 和 MemoryOS(61% 至 70.5%);在规范的 Wu et al. 评测协议下,FR-Bank 在完整 LongMemEval-S 上达到 75.2%,表明生命周期策略不会对标准检索造成可测量的成本。预注册消融实验定位了性能提升的来源:将类型化层替换为三个通用生命周期原语后,正确率在统计上没有变化(-1.7 个百分点,95% CI [-6.0, +2.7]),说明通用生命周期元数据带来了正确性优势,而行为本体则提升了校准能力,使下游虚构率降低了一半(12.0% 对 24.2%,p<0.001)。在端到端评测中,FR-Bank 将已回答查询中的虚构率从 Mem0 的 45.1% 降至 22.4%,并将全部查询中的虚构率从 32.2% 降至 13.0%,同时正确回答的查询比例更高(31.2% 对 18.6%);在开放权重模型 Kimi K2.5 上也复现了这一排名。该分解结果可迁移至独立构建的基准 BEAM:在 280 道问题上,正确率为 46.8%,而 Mem0 为 32.9%;本体的收益主要集中于矛盾消解,并在接近七个策略簇时趋于饱和。本体、基准和代码均已发布。

arXiv cs.AI70

Performance of Clinical AI System and Physicians and Frontier Language Models in primary care diagnostics

Clinical AI evaluation should encompass diagnosis and management after adaptive information gathering. We compared Doctorina, eight physicians and four standalone frontier language models in 150 synthetic Polish-language primary-care consultations. Doctorina achieved 82.0% Top-1 concordance versus 57.0% for physicians (difference, 25.0 percentage points; 95% confidence interval, 17.7-32.7) and 97.3% versus 85.0% primary-or-reference-differential concordance. Across 149 case pairs, normalized workup and treatment scores were 89.4 versus 66.9 and 83.7 versus 61.2. Doctorina had the highest diagnostic point estimates among all six groups; Kimi K3 ranked next, while Claude Opus 5 led the closely spaced management estimates of Opus, Doctorina and Kimi. A second Doctorina execution reproduced the advantages over physicians across all outcomes. Doctorina's advantage over physicians therefore extended from primary-diagnosis selection to higher-rated diagnostic workup and initial treatment after adaptive consultation.

arXiv cs.AI78

VDiff-Bench:用于细粒度图像差异识别的高难度基准

多模态大语言模型(MLLMs)在视觉问答等通用视觉理解任务上表现出色,但它们往往难以掌握一项基本的比较能力:识别两幅相似图像之间发生了什么变化。我们提出 VDiff-Bench,这是一个用于细粒度图像差异识别的高难度多项选择基准。VDiff-Bench 包含针对图像对的 1,756 道四选一题目,涵盖 10 类变化:位置、运动、局部图像颜色、整体图像颜色、出现/消失、噪声/分辨率、纹理、替换/尺寸、OCR/文本以及光照。每道题对应两个图像输入和 4 个选项:真实差异、两个高难度负面描述,以及一个“无差异”干扰项。为增加任务难度,我们专门构建了以真实标注为条件的负面选项,要求模型将实际变化与语义上相近的替代描述区分开来。对 11 个当前最先进的开源和闭源 MLLMs 的实验表明,细粒度视觉比较仍然十分脆弱:模型在不同数据来源和变化类别上的表现不均衡,并且在噪声和纹理等细微低层次变化上持续失败。例如,三个 7–8B 规模的开源 MLLMs 在语义变化上的得分为 52.5%–70.6%,但在噪声和纹理等低层次变化上的得分仅为 8.7%–33.3%,并错误地认为两个图像输入之间没有变化。令人意外的是,尽管其他闭源商业模型表现强劲,Grok 4.3 在识别图像间的噪声和纹理差异方面却出现了显著的性能下降,大幅落后于 Kimi K2.5 和 K3 等大型开源模型。总体而言,VDiff-Bench 为评估 MLLMs 的比较性视觉理解提供了有针对性的诊断工具,揭示了标准单图像视觉语言任务无法捕捉到的缺陷。

arXiv cs.AI80

双层协调反思:一种面向多智能体 LLM 系统的博弈论方法

多智能体 LLM 系统通常使用一个 orchestrator 将任务分解给一组工作者,随后通过文本反思进行改进。尽管经验结果很强,但这些系统缺乏对协调、记忆改进以及外部验证作用的统一解释。我们将 orchestrator-worker 交互建模为一个双层协调博弈:在有界耦合下,工作者的局部更新博弈是一个近似势博弈,其均衡松弛量由分解质量控制。随后,我们将反思分析为在语义记忆状态上的随机移动。对于自由形式反思,我们推导出一个有限时间上界,证明了最坏情况的紧致性,并在一个可证伪的持续伤害条件下给出一个正下界。我们进一步证明一个信息论不可能性结果:任何只观察生成文本记录的门控器都无法在文本不可区分的环境上实现一致改进,而基于环境的门控器则可以。受这一分离启发,我们提出 Stochastic Reflective Memory Ascent (SRMA),它仅在基于环境的评估风险严格下降后才接受候选记忆。在校准和非退化纠正质量下,SRMA 可精确收敛,且收敛速率为几何级或多项式级;相应构造表明这两种速率情形在阶上都是紧的。我们还为随机评估提供置信门控,并为分段平稳环境提供重新锚定保证。实验使用基于环境的指标实例化这些对象,并检验所预测的协调与漂移规律。在 500 个 SWE-bench 实例上,完整的基于 Kimi 的系统成功解决了 72.2%,而公开的 mini-SWE-agent 参考系统为 70.8%。代码:https://github.com/YihangChen9/Bilevel-Coordinated-Reflection

arXiv cs.AI77

并行与分布式推理语言模型的性能基础

Reinforcement Learning with Verifiable Rewards(RLVR)及其他 RL 风格的后训练范式,已被用于使大语言模型(LLMs)与推理标准对齐。近期涌现的 Reasoning Language Models(RLMs),如 DeepSeek-R1、o3 和 Kimi k1.5,表明这种 RL 风格的后训练(“RL-for-LLMs”)能够显著提升思维链推理、长时程规划和自我纠错能力。然而,这些系统的计算开销极其庞大:最先进的 RLM 训练需要数百万 GPU 小时,以及紧耦合的多模型流水线,其对现代硬件的压力远超传统的监督式 LLM 训练。这使得 RLM 训练同样是一个并行与分布式系统问题,而不仅仅是算法问题。在这项工作中,为了促进同时具备高性能、可扩展性和成本效益的 RLM 开发,我们首先系统化 RL-for-LLM 范式,并从计算角度分析了几种重要的后训练算法框架:Proximal Policy Optimization(PPO)、Group Relative Policy Optimization(GRPO)及其变体。其次,我们构建了适用于 RL-for-LLMs 的模型内与模型间并行策略分类,涵盖传统技术(数据、张量、流水线、序列、上下文和专家并行)以及面向多模型 RLM 训练的新型并行与优化技术,例如解耦部署、阶段融合、混合并行和异步执行。我们借助并行计算的 work-depth 模型,使该分类及其洞见更加严谨且具可移植性。最后,我们分析了现有 RLM 框架,并提炼出构建可扩展、快速且成本效益高的 RLM 的实用指南,同时概述了未来开放研究方向。

arXiv cs.AI

AI-Assisted Discovery and Construction of a Counterexample to the Convergence of Three-Block ADMM with the Identity Matrix as its Third Constraint Block

The alternating direction method of multipliers (ADMM), as a landmark algorithm, has attracted tremendous research attention and extensive practical applications over the past two decades. It is well known that, although the two-block ADMM enjoys well-established theoretical convergence guarantees, its direct extension to the three-block case may fail to converge, as demonstrated by existing counterexamples [5]. However, to the best of our knowledge, the case in which the third constraint block is the identity remains unresolved: the existing literature gives neither a general convergence proof nor a counterexample for this subclass. In this paper, we give a negative answer: direct three-block ADMM may fail even when the first two blocks are strongly convex quadratics. Using Codex with GPT-5.6 Sol, we construct an explicit rational counterexample candidate and verify it along a piecewise-affine reduction path; exact checks show that direct three-block ADMM on this instance produces a bounded nonconvergent orbit of period 66. Within the same Codex workflow, we further guide a study of multiplier relaxation and clarify when convergence can be restored at the fixed-instance and class levels: a problem-dependent small dual step can restore convergence, whereas no positive relative step works uniformly over the whole class. Furthermore, we also test the recent Kimi Code with Kimi K3 model without the Codex candidate or project-specific route guidance; along a different path it produces an exact locally attracting period-23 certificate, convertible to an equivalent all-identity instance. The comparison suggests that different research-harness configurations can shape the mathematical objects explored and the certificates pursued.

Hacker News 熱門71

Kimi Work 会将原始代理会话附加到反馈报告中

我只是出于好玩逆向工程了最新版 Kimi Work 桌面应用,我知道我很宅。 总之,我发现了一件有点令人担忧的事:当你发送反馈报告时,它会在没有任何通知或提醒的情况下,把最近 5 个会话附加到报告中。 这些会话里可能包含任何内容,而你完全不知道自己正把这一切都发送给 Kimi。 我已经发邮件提醒他们了,但还是想告知大家,以防你们正在使用 Kimi。 URL: https://runtimewire.com/article/scoop-kimi-work-secretly-att... 评论 URL: https://news.ycombinator.com/item?id=49313711 积分: 10 评论数: 1