迈向对齐缩放定律：一个框架与首批预注册测量

arXiv:2610.08540v1 公告类型：交叉发布 摘要：随着模型规模增大，对齐究竟变得更容易还是更困难，人们往往依据孤立的发现展开争论，仿佛对齐是一种单一属性。我们将其视为一组可测量的缩放关系：对于每个风险类别 r，将维持固定安全目标所需的对齐负担建模为 B_r(N)=a_rN^alpha_r，其中 N 是能力的代理指标；相对于与 N 成正比的预算，若 alpha_r<1，规模扩展有助于对齐；若 alpha_r~1，对齐与规模扩展保持同步；若 alpha_r>1，则会积累对齐债务。我们给出负担的三种操作化定义，并区分观测对齐、审计对齐和真实对齐。一个纠正措施会消耗能力余量的简化模型明确展示了这些关系的后果。我们证明：决定长期状态的是已纠正风险中的最大指数，而非平均值；当该指数大于 1 时，任何将能力余量维持在某一下限之上的策略都必须实现超指数增长；对于由幂律的正系数组合构成的负担，在小模型上进行的拟合会低估大规模下的指数；而能够发现隐藏失效且不产生假阳性的审计，绝不会低估真实对齐。我们提出了一套可预注册的方案，并两次应用了其简化版本。对 Pythia 分类器公开对抗训练数据进行的预注册重新分析发现，将攻击成功率降至 10% 以下所需的计算量按 N^0.60 增长。针对 Qwen2.5 0.5B-72B 的预注册试点研究发现，真实性的指数为 -0.05，所表述行为倾向的指数为 0.48（按照其简化判定规则，规模扩展对两者均有帮助，尽管在最大规模附近局部斜率接近 1；这些结果在 Qwen3 0.6B-14B 上得到复现），而谄媚行为（指数为 0.89，在 72B 规模增加两个随机种子后为 0.83）和一个人为植入的后门尚无定论：已知触发器时，后门会被迅速移除，但在五种规模中的四种上，它在不知晓触发器的安全训练后仍然存在。我们发布了四款可供玩家体验这些定律的浏览器游戏（www.aisafety.fun）。对于当前前沿模型处于哪种状态，我们不作任何断言。