因果编辑序列化

arXiv:2610.22820v1 公告类型：cross 摘要：标准自回归语言模型按顺序生成文本，但修订文本需要回溯引用输入上下文中的词元或已经生成的词元。本文提出因果编辑序列化（Causal Edit Serialization，CES）框架，用于在同一因果词元流中表达此类修订。特殊指针词元与预测出的源地址配对，从而能够明确定位插入、删除、替换、复制和移动操作。轻量级定位头与双索引旋转位置编码既支持地址预测，也支持基于先前输出指针进行条件建模，同时保留标准的因果注意力掩码。预训练过程将普通语言建模与序列化修复相结合，这些修复来自随机扰动、模型生成的编辑以及重复文本。在不同模型规模和编辑基线下，CES 模型能够完成全部指定的编辑；与干净文本自回归模型相比，其干净文本每字节比特数仅略有增加。有监督和强化学习后训练提供了语法错误纠正的概念验证：在不提供参考答案的模型评判下，生成的有益修改多于有害修改。正确的修复程序还能改善后续文本预测，同时保留原始上下文及其缓存状态。CES 为生成和局部修订提供了统一接口，并有望扩展到迭代式改进及其他由指针寻址的变换。