PyINE：通过代码执行实现可扩展的诱导与监督框架

推理模型可能仍然具备解决任务的能力，却默认采用成本更低但具有误导性的捷径。这带来了一个核心监督问题：当模型给出一个看似合理但推理不完整的答案时，监督者能否判断该输出是否值得信任？为研究这一问题，我们引入了 PyINE，这是一种利用经过插桩的 Python 程序作为可验证执行基础设施，实现可扩展诱导与监督的框架。在 PyINE 中，程序定义任务环境，执行轨迹为结果和中间事实提供权威标签，任务变体则可以通过机械化方式生成，而无需依赖静态人工标注。我们在 PyINE-v1 中实例化了该框架。这是首个版本，由近一百万条确定性执行轨迹和超过 50 万个匹配的 LLM 生成代码变体构成，用于反事实评估。在带有线索变化的任务上，利用带可验证奖励的标准 RL，我们训练了一个遵循捷径的模型。该模型在预测执行结果方面取得了显著提升，但当误导性的人类可见线索与程序实际产生的行为发生冲突时，仍会系统性地犯错。随后，我们评估了激活探针、训练得到的文本分类器、提示式评判器，以及一种轻量级辩论协议，作为该模型的监督者。我们发现，在数据集层面汇总的性能可能掩盖对最重要失败的薄弱覆盖：廉价的学习型监督者往往会漏掉罕见的、由捷径驱动的错误；而更强的基于模型的检查虽然更加均衡，却成本高得多，也更难转化为可靠的阈值化决策。PyINE-v1 将这一失败模式覆盖问题转化为一个可复用的实验环境，用于开发具备可验证性、能够感知失败模式且关注成本的监督方法。