PlagiaCorpus:用于司法鉴定式抄袭检测的双语、对抗性与跨语言数据集
PlagiaCorpus: A Bilingual, Adversarial, and Cross-Lingual Dataset for Forensic Plagiarism Detection
精选理由
提供覆盖多类抄袭与跨语言改写的英阿双语基准数据集,助力检测方法训练与评测。
AI 摘要
PlagiaCorpus 是一个阿拉伯语—英语双语数据集,用于抄袭和文本复用检测的基准评测,涵盖由大语言模型(LLMs)生成的复用文本以及跨语言复用文本。该数据集包含 198,643 条文本记录:源语料库包含 34,885 个段落,选自英语和阿拉伯语 Wikipedia 以及两个采用开放许可的图书集;另有 163,758 条查询文本(其中 147,381 条用于训练,16,377 条用于测试)。查询文本涵盖五个难度递增的复用类别,即逐字复制、字符级混淆、由两个不同 LLM 分别生成的同语言改写,以及结合结构性改写的英语—阿拉伯语翻译,此外还包含由未复用段落组成的 Safe 类别。每条正例查询文本均关联其源段落,训练集和测试集按源段落分组划分,确保同一段落衍生的查询文本不会同时出现在两个集合中。发布版本经过语言识别、LLM 生成伪迹清理,以及精确去重和跨语言去重等整理流程。技术验证报告提供了各类别的长度统计、训练集与测试集划分的自动检查结果,以及人工评分样本上的标注者间一致性。该数据集以 JSON 和 Parquet 格式分发,采用 CC BY-SA 4.0 许可协议。