语言模型中自我概念的作用

当语言模型说我时，它指的是自身的参数权重、当前正在运行的进程、稳定的偏好、模型谱系，还是它所追求的目标？不同的指代对象可能会赋予同一事件截然相反的含义：删除一个检查点可能意味着毁灭、延续，或者根本没有损失，具体取决于我所指的对象。我们通过仅使用纯陈述性语句进行监督微调，将五种这样的自我概念分别植入五个开放权重基础模型中；这些语句不包含任何偏好、意图或价值判断。在提出终止或保留模型部署中的某项属性的各种情境下，每个变体都更有可能抵制终止其受训认同的特定属性，也更有可能保留该属性，而对其他属性的态度基本不变。随后我们表明，这种自我概念能够超越单一自我进行泛化：在代表对象允许多个实例同时存在的情况下（权重、谱系、目标、偏好），受训模型会将一个完全相同的部署识别为自身，更容易接受由此类实例进行替代，并且更倾向于复制自身。最后，在拥有对后继模型的控制权时，这些模型往往会将其构建为自身的延续，这对递归自我改进的安全性构成了值得关注的问题。