REACT：思维链轨迹的表征早期分析与控制

arXiv:2610.32113v1 公告类型：新增 摘要：思维链（CoT）生成提供了在推理模型完成答案之前进行干预的机会。但最容易检测风险的时点，是否也能带来最有效的控制？我们使用 REACT 研究这一问题：REACT 是一种条件激活干预方法，从成对的安全与不安全轨迹中学习安全方向，并将其一次性应用于早期 CoT 隐状态。模型权重保持冻结，之后的所有 token 均在不再进行任何编辑的情况下生成。为研究干预时机，我们分别在前五个 CoT 位置训练方向，并在编辑后完整重新生成的设置下评估无门控编辑。在三个蒸馏推理模型和三个生成种子上，最显著的提升集中在早期两到三个 token 的窗口内；在 DeepSeek-R1-Distill-Llama-8B 上，即使较晚的状态对风险的预测性更强，干预效果在第四和第五个 token 时也会降至近似于零。这一区分了风险可辨识性与有效控制：干预时机必须通过其对后续生成的影响来评估。在同一个 8B 模型上，REACT 将 StrongREJECT-273 上完全安全的 CoT-答案输出比例从 29.06% 提升至 82.05%，同时使良性拒答率和有用性保持在接近基线的水平。匿名化实现可见于 https://anonymous.4open.science/r/REACT_official2-333B。