从单独学习到社会学习：刻画 LLMs 中的递归式社会改进

arXiv:2609.38516v2 公告类型：替换交叉版本 摘要：大型语言模型（LLMs）如今可以通过修改其遵循的指令来实现自我改进，而 LLM agents 也越来越多地被协调起来，共同处理复杂问题。然而，自我改进方法通常一次只优化一个系统，多智能体框架则往往让每个模型都朝着一个共同目标努力。我们提出了一个不同的问题：当每个 agent 都追求自身的奖励时，能够自我改进的 LLMs 是否可以彼此学习，从而使整个群体得到改进？我们将这种能力称为递归式社会改进。我们研究的群体会修改技能文件，并自行决定是否、何时以及向谁学习。独立搜索、向同伴学习和采取行动共用同一个 token 预算。在受控环境中，成熟的社会学习算法能够从同伴那里获益，但三个 LLMs 却无法做到这一点。与单独学习者相比，它们每个 token 获得的奖励更少，并且探索范围过窄，或者在采取行动之前就耗尽了 token。随后，我们让模型自行编写和修改技能。观察同伴会改变它们改进的方式：帮助一个模型更早找到有用技能，也帮助另一个模型减少在私有搜索上的投入。然而，在相同成本下，二者都没有超过独立学习者。技能会被复制、修改并传递下去，因此一次发现可以为后续搜索播下种子。但这些交流也会使群体集中到更少的独立发现上。总的来说，这些结果表明，LLMs 可以通过向同伴学习来提高学习效率，但目前还不能提高学习效果。