评估和改进 LLM 自我建模

我们研究自我建模：即 LLM 回答关于其自身行为问题的能力。我们关注可验证的行为问题，例如某个 prompt 编辑是否会改变模型的最终答案。为了衡量这一能力，我们提出了一个基准，用于测试多种类型的自我建模问题。当前模型表现出非平凡但有限的自我建模能力，并且在有关自身行为的简单反事实问题上会出现系统性错误。为了提升自我建模能力，我们开发了一个可扩展的合成数据流水线来生成自我建模训练数据，并展示了 reinforcement-learning 可以在三个开源模型家族上提升整体自我建模能力，并对留出任务带来一定迁移。然而，这些提升似乎并不总是意味着内省：改进后的自我建模未必源于对模型内部决策过程的特权访问。