CoBe：对话式反事实文本编辑基准

arXiv:2610.13057v1 公告类型：交叉发布 摘要：反事实文本编辑是指根据某个假设性变化修改给定文本，同时保留在因果上不受该变化影响的事实的能力。当被问及如果医生没有建议手术会发生什么时，模型的输出应保留患者的病史，仅修改该决定所带来的后果。这需要因果理解能力：模型必须在没有明确指示的情况下，判断哪些事件会受到假设性变化的影响，以及哪些内容应保持不变。这项能力是人类推理的核心，尤其是在医疗或法律等安全关键领域。相比之下，关联式文本生成任务仅生成与改变后的条件存在统计关联的文本。在上述医疗示例中，关联式回答可能会减轻患者的症状，因为病情较轻与不进行手术存在相关性。这类回答构造了一个看似合理的情境，却并非给定情境的反事实版本。以往的反事实文本数据集并未清晰区分这两种推理模式。我们提出 Counterfactual Benchmark（CoBe），用于测试模型在收到自然对话式提示时，对给定文本情境进行反事实编辑的零样本能力。CoBe 包含 2000 个问题，涵盖医疗、科学与工程、商业及日常情境。我们测试了一系列前沿模型和较小规模模型，其中前沿系统的平均得分为 $58.05\%$。研究结果表明，模型经常默认采用关联式生成，而非保留原始情境的因果结构。此外，性能并未随模型规模或输出词元长度的增加而稳定提升，这表明此类失败可能源于模型的训练目标，而非模型容量不足。