分叉：回放下的突然过拟合

arXiv:2610.00394v1 公告类型：新论文 摘要：本文研究了分叉（forking）这一在 NanoGPT 自动研究中发现的泛化失败现象。在数据回放条件下，带有过度编码 n-gram 记忆分支的模型会在训练轮次边界处出现训练损失与验证损失的明显分离，其形状类似于分叉。我们在受控的原生 NanoGPT 设置中研究了这一现象，并在采用 Engram 的 DeepSeek 风格模型中复现了该现象。从机制上看，重复更新会强化训练数据中观察到的后续内容，同时抑制未见后续内容的概率，而后者的损失会随着每次遍历而增长。n-gram 模块会产生相互作用较弱的、特定于上下文的子空间，从而放大这一效应。低频上下文对损失差距的贡献最大，而更大的训练预算和高度拥挤的表会抑制该现象。我们还在短训练预算、重复程度很高的 SFT 和类 RL 环境中观察到了分叉现象。本文有两点贡献：（1）除 grokking 和双重下降之外，分叉揭示了深度学习中的又一种奇特现象。（2）分叉是自动研究代理所提出技巧带来的一个出乎意料且令人不快的副产品。尽管这些代理会产生数量极其庞大、看似有用的结果，但我们始终应当谨慎对待它们的结果。