CompOrca：指令微调数据的语料库规模合规性标注

arXiv:2609.37807v2 Announce Type: replace-cross 摘要：要研究微调如何塑造拒答与不遵从行为，就需要知道哪些训练样例会拒答，或以其他方式未能满足请求。现有标注覆盖的是评估集，其规模远小于训练语料库。我们推出 CompOrca，为 OpenOrca 语料库中的全部 4,233,923 个样例提供合规性标签。每个样例均由开放权重 LLM 评判器 LongCat-2.0（1.6T 参数）进行五轮判定，分类为合规或不合规。该语料库按全票同意合规（94.75%）、全票同意不合规（1.28%）和意见不一致行（3.97%）发布，并附带原始投票计数。单轮判定会将语料库中 2.7%—3.2% 的样例标记为不合规，而五轮均标记为不合规的仅占 1.28%，因此可以过滤掉最具歧义的行。在 450 个经过人工标注的样例上（其中 150 个被标注两次；人工标注者之间的 $\kappa=0.93$），全票同意合规和全票同意不合规标签的精确率分别为 97.3% 和 86.7%。不合规标签是语料库不合规样例的一个高精确率子集。已发表的拒答检测方法对人工标注不合规样例的召回率介于 0.4% 和 94.1% 之间。我们在 https://huggingface.co/datasets/cemiu/CompOrca 发布包含逐行标签和投票计数的完整语料库。