AutoIndexer：通过在编辑链上训练因果模型实现灵活顺序解码

arXiv:2610.12545v1 公告类型：交叉收录 摘要：自回归解码不太适用于非因果顺序的数据，例如交叉引用或对后续内容的依赖，因为与人类的迭代推理不同，其输出无法在事后修订。扩散式 LLM 在一定程度上缓解了这一局限，但仍无法在预先生成的上下文中灵活插入或删除任意数量的词元。我们设计了 AutoIndexer，这是一种采用新颖训练与解码机制的生成模型，通过模拟编辑链，使模型能够在事后通过插入、替换和删除词元，灵活修改先前的输出。该模型学习预测用于开启和结束编辑的标记词元，同时将光标移动到现有词元序列中的相应位置，类似于文本编辑器。训练序列通过对真实标签施加逆向链式编辑操作进行扰动而获得，模型则通过撤销这些逆向操作来学习编辑。这种扰动训练使 AutoIndexer 对错误上下文具有鲁棒性，并能适应代码纠错等编辑任务。我们证明，该方法具备大多数自回归模型和扩散模型所缺乏的生成后上下文编辑能力，同时不会损害其在标准 LLM 基准测试上的表现。代码已发布于 https://github.com/AutodeskAILab/autoindexer。