SIGMA：基于 Model Spec 的自我改进对齐泛化

LLM 智能体越来越能够执行复杂任务，并在软件工程和数学等易于验证的目标上递归式地自我改进。由于对齐要难得多，这带来了能力不断提升却未能实现适当安全对齐的日益增长的风险，尤其是在能力扩展到自动化研究和网络安全领域之后。现有方法主要聚焦于利用可验证反馈实现能力自我改进，或通过更强模型的监督或精心策划的数据进行对齐训练，从而形成了对齐方面的外部监督瓶颈。我们探讨当前模型能否改进自身的安全对齐，并提出 SIGMA：一种数据生成与训练流程，使对齐自我改进能够泛化到分布外场景。仅给定一份说明模型期望行为的“Model Spec”，SIGMA 利用模型的推理能力来强化其自身的安全推理。SIGMA 首先执行规范引导的任务合成，将候选模型作为任务设计智能体，生成多样化的对齐困境场景，并将其转化为训练任务，以压力测试模型对 Model Spec 的理解。随后，SIGMA 通过监督微调和基于评分标准的强化学习开展自我评判式对齐训练，并将模型自身作为奖励模型。尽管训练数据仅包含单轮聊天数据，SIGMA 仍能提升模型在多轮智能体环境中的安全对齐能力（AgentHarm 的有害性评分从 22.6 降至 14.8；Agentic Misalignment 从 79.1 降至 3.8），性能优于 Deliberative Alignment 和 Constitutional AI 基线，同时保留通用能力。分析表明，兼顾无害性与有用性的 Model Spec、测试时用于安全审议的推理能力，以及 SIGMA 任务设计智能体生成的高质量评分标准，对于实现有效的自我改进至关重要。