自我消耗型生成模型与共同演化的人类偏好

arXiv:2610.09415v1 公告类型：新 摘要：生成模型越来越多地在自我消耗式迭代循环中进行训练：用户从模型生成的候选样本中筛选出偏好的样本，并使用这些筛选后的样本训练模型的后续版本。以往的研究大多假设用户偏好是固定的，但在实践中，接触模型输出会逐渐重塑用户对何为理想的认知，从而形成模型分布与用户偏好共同演化的反馈循环。我们首次尝试理解这类耦合动态的长期行为。我们表明，当训练完全依赖用户筛选的合成数据时，迭代筛选会放大初始偏差，并推动系统走向多个单例均衡之一：最初占据优势的实例最终会取得支配地位。相比之下，以足够高的比例将参考数据注入训练会从根本上改变动态，并产生唯一的全局吸引均衡。在此基础上，我们研究如何利用参考数据注入控制长期结果，并提出一种高效算法，联合选择参考分布及其混合权重，使耦合系统朝向能够保留所需属性、同时最大限度降低数据收集成本的均衡状态。